멀티모달 대형언어모델(MLLM)의 탈옥(jailbreak) 취약성이 어떤 요인에서 비롯되는지 규명하기 위한 벤치마크 연구다. 기존 벤치마크는 유해 의도, 프롬프트 프레이밍, 시각적 의미, 지시 전달 방식이 하나의 사례 안에 뒤섞여 있어 취약성의 원인을 특정하기 어려웠다. 연구진은 이 네 요인을 체계적으로 변주하고 조합할 수 있는 'MMJailBench'를 도입해 16개의 오픈웨이트·독점 MLLM을 대규모 평가했으며, 그 결과 모델별로 매우 이질적인 취약성 프로파일이 확인됐다. 프롬프트 프레이밍이 가장 큰 변수로 작용했고, 과제와 관련된 시각적 의미 중 권위를 암시하는 단서가 특히 취약성을 크게 높였으며, 시각적으로 표현된 지시가 텍스트 지시보다 항상 더 취약하지는 않았다. 연구진은 재현 가능하고 비용 효율적인 감사를 위한 모듈형 평가 도구도 함께 공개했다.

• •유해의도·프롬프트 프레이밍·시각적 의미·지시 전달방식을 독립 변주하는 팬터화 벤치마크 도입
• •16개 오픈웨이트·독점 MLLM 대규모 평가, 모델별 이질적 취약성 프로필 확인
• •프롬프트 프레이밍이 취약성의 가장 큰 변수로 작용
• •권위를 암시하는 시각적 단서가 탈옥 취약성을 특히 크게 높임
• •재현 가능한 경량·전체 구성의 모듈형 평가 도구 공개