"AI가 스스로 숨은 약점 찾는다"…KAIST 김준모 교수팀, AI 안전성 검증 기술 ‘스테이블-지플로우넷’ 개발

본문 미리보기

튼튼한 성을 만들려면 먼저 약한 곳을 찾아야 한다. 생성형 인공지능(AI)도 마찬가지다. KAIST 연구진이 AI의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아내는 안전성 검증 기술을 개발했다. 더욱 안전하고 신뢰할 수 있는 AI 개발의 기반이 될 것으로 기대된다.KAIST 전기및전자공학부 김준모 교수 연구팀이 대형언어모델(LLM)의 안전성을 검증하는 레드팀(Red Teaming) 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)'을 개발했다고 30일 밝혔다.생성형 AI의 레드팀은 프로