비전-언어모델(VLM)의 표현 기반 안전장치는 유해·무해 입력을 구분하는 데는 성공해도 위험 점수가 정확히 무엇을 의미하고 언제 믿을 수 있는지는 설명하지 못하는 경우가 많다. 연구팀은 반사실적 이웃 위험장(CNRF)을 제안해 맥락이 일치하는 무해-유해 반사실 쌍을 만들고 그 표현 차이를 위험 방향으로, 주변 지지도는 위험과 분리해 추정함으로써 낯섦과 유해성을 혼동하지 않도록 했다. 이를 통해 일괄 거부 대신 선택적 개입이 가능해지며, VLM 아키텍처별 안전 관측치 차이를 반영하는 피해자-적응형 인터페이스가 선택된 요청을 재검토로 보낸다. 3개 VLM과 5개 멀티모달 탈옥(jailbreak) 공격군에서 86.06~89.30%의 방어 성공률을 달성하면서도 무해 작업 성능은 상당 부분 유지했다.
- •표현 기반 VLM 안전장치가 '위험 점수의 의미'를 설명하지 못하는 문제를 해결하는 CNRF 프레임워크
- •맥락 일치 무해-유해 반사실 쌍으로 위험 방향을 구성, 낯섦과 유해성을 분리해 추정
- •일괄 거부 대신 선택적 개입이 가능한 피해자-적응형 재검토 인터페이스 적용
- •3개 VLM·5개 탈옥 공격군에서 86.06~89.30% 방어 성공률, 무해 작업 성능도 상당 부분 보존
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models
- 1.비전-언어모델(VLM) 안전장치가 위험을 '구분'만 할 뿐 신뢰 기준이 없다는 문제를 지적하며 CNRF 제안
- 2.맥락이 일치하는 유해-무해 반사실적 쌍을 구성해 표현 차이를 위험 방향으로 삼고 지지도와 위험을 분리 추정
- 3.분리를 통해 낯선 입력을 위험으로 오판하는 문제를 방지, 전면 차단 대신 선택적 개입이 가능해짐
- 4.3개 VLM·5개 멀티모달 탈옥 공격서 방어성공률 86.06~89.30% 달성, 정상 과제 성능도 상당 부분 유지
왜 중요한가?
VLM 안전 방어를 '유해성 경계 학습'에서 '선택적 위험 판단을 위한 증거 구성'으로 재정의해, 오탐을 줄이면서도 실제 공격은 효과적으로 막는 균형잡힌 안전 설계 방향을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.20679v1 Announce Type: new Abstract: Representation-based safety defenses for vision-language models (VLMs) often learn to separate harmful from benign inputs, but separation alone does not establish what a risk score means or when it should be trusted. We introduce Counterfactual Neighborhood Risk Fields (CNRF), an evidence-grounded framework for selective VLM safety. CNRF constructs context-matched benign-harmful counterfactual pairs, uses their representation differences as capabi
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안