KAIST 전기및전자공학부 김준모 교수 연구팀이 대형언어모델(LLM)의 레드팀 검증 기술 한계를 극복한 새 프레임워크 '스테이블-지플로우넷(Stable-GFlowNet)'을 개발했다. 기존 강화학습 기반 공격 생성 방식은 한두 가지 성공 공격만 반복하는 모드 붕괴 문제가 있었는데, 연구팀은 대조 궤적 균형(CTB), 노이즈 경사 가지치기(NGP), 유창성 안정화 장치(MKS) 세 기술을 결합해 이를 해결했다. 그 결과 기존 기술이 찾아낸 17개 공격 유형보다 약 7배 많은 134개의 고유 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했으며, 서로 다른 공격 기법으로 평가하는 교차 공격 시험에서도 우수한 방어 성능을 보였다. 이 연구는 ICML 2026에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐으며, 신약 후보 물질 생성 등 다른 생성형 AI 분야에도 활용될 수 있을 것으로 기대된다.

• •KAIST 김준모 교수팀, LLM 레드팀 기술 한계를 극복한 '스테이블-지플로우넷' 개발
• •대조 괼적 균형(CTB)·노이즈 경사 가지치기(NGP)·유창성 안정화(MKS) 세 기술로 모드 붕괴 문제 해결
• •기존 17개 공격 유형보다 약 7배 많은 134개 공격 유형 발굴, 공격 성공률 92% 유지
• •ICML 2026 상위 2.2% 스포트라이트 논문 선정, 신약 후보 물질 생성 등에도 활용 가능성