Mirage: Targeted Jailbreaks Against Post-Generation Safety Checkers in Multimodal Diffusion Models↗ (원문, 새 창)

연구팀은 확산 모델 파이프라인의 사후 생성 안전 검사기를 우회하는 다중모달 탈옥 공격 Mirage를 제안했다. 이 공격은 NSFW 참조 이미지나 악의적 텍스트 설명 같은 적대적 목표를, 무해한 입력 이미지에 가해진 인지하기 어려운 교란 속에 숨긴다. 다중모달 인코더의 공유 표현 공간을 활용해 교란된 이미지를 적대적 목표와 정렬시키면서 필터링되는 NSFW 개념과는 표현을 멀어지게 만들어, 서로 다른 안전 검사기 사이에서도 내부 구조를 몰라도 탈옥이 전이된다. Stable Diffusion 1.5·XL과 Kandinsky 2.2에 적용해 두 개의 크로스모달 NSFW 데이터셋으로 평가한 결과, 제한된 블랙박스 질의만으로도 다양한 사후 안전 검사기를 강한 성능으로 우회하면서 적대적 목표와의 의미적 정합성도 높게 유지했다.

• 확산 모델의 사후 생성 안전 검사기를 우회하는 다중모달 탈옥 공격 Mirage 제안
• 적대적 목표를 무해한 이미지의 인지 불가능한 교란 속에 은닉하는 방식 사용
• 공유 표현 공간을 이용해 내부 구조를 몰라도 서로 다른 안전 검사기 간 공격이 전이됨
• Stable Diffusion, Kandinsky 등 여러 모델에서 제한된 블랙박스 질의로 높은 탈옥 성공률 확인