멀티모달 대형언어모델(MLLM)에서 프롬프트 내 유해한 예시만으로 모델 파라미터 변경 없이 안전하지 않은 출력을 유도하는 '인컨텍스트 탈옥(ICL 재일브레이크)'이 왜, 어떻게 효과가 커지는지에 대한 원리적 이해가 부족했다. 연구진은 안전정렬된 MLLM을 경쟁하는 여러 행동 모드 위에서 작동하는 모델로 보고, 인컨텍스트 예시를 안전/유해 선호를 동적으로 이동시키는 추론시점 증거로 해석하는 '사후확률 재가중 프레임워크'를 제안했다. 이 틀은 탈옥을 증거 축적 과정으로 정식화해 예시 개수, 유해 비율, 적대적 강도, 의미적 다양성에 따른 예측 가능한 스케일링 법칙을 도출한다. 이를 바탕으로 추정된 위험도에 따라 양성 반증거를 적응적으로 주입하는 방어 기법도 함께 제시했으며, 동일한 개입 예산 하에서 기존 인컨텍스트 방어 기법 대비 견고성-유용성 균형을 크게 개선했다.
- •MLLM 프롬프트 내 유해 예시만으로 유도되는 인컨텍스트 탈옥(ICL 재일브레이크)의 작동 원리 규명
- •안전정렬 모델을 경쟁 행동모드 간 사후확률로 모델링, 예시를 증거 축적 과정으로 해석하는 '사후확률 재가중 프레임워크' 제안
- •예시 개수·유해 비율·적대적 강도·의미 다양성에 따른 예측 가능한 스케일링 법칙 도출
- •추정 위험도 기반 양성 반증거 적응 주입 방어법 제시, 기존 기법 대비 견고성-유용성 균형 개선
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Understanding In-Context Multimodal Jailbreaks via Posterior Reweighting
- 1.멀티모달 LLM의 인컨텍스트러닝(ICL) 탈옥을 안전·유해 모드 간 사후확률 이동으로 해석하는 '사후재가중' 프레임워크 제안
- 2.예시 개수·유해비율·적대적강도·의미다양성에 따른 탈옥성공률의 예측가능한 스케일링 법칙 도출
- 3.위험도 추정 기반으로 양성 반증거를 주입하는 추론시점 방어를 제안, 기존 방어 대비 강건성-유용성 트레이드오프 개선
왜 중요한가?
그동안 경험적으로만 관찰되던 ICL 탈옥 현상에 원리적 설명과 정량 스케일링 법칙을 부여해, 방어 기법 설계를 추측이 아닌 근거 기반으로 전환할 토대를 마련한다.
본문 미리보기
arXiv:2609.10613v1 Announce Type: new Abstract: In-context learning (ICL) jailbreaks reveal a critical vulnerability in multimodal large language models (MLLMs): harmful demonstrations in the prompt can induce unsafe outputs without modifying model parameters. Despite extensive empirical evidence, existing work lacks a principled understanding of why such jailbreaks reliably succeed or how their effectiveness scales with context composition. We propose a posterior reweighting framework that mod
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

