0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation
- 1.멀티모달 에이전트를 가짜 시스템 알림 등 시각적 기만 요소로 탈선시키는 'Visual Semantic Hijacking' 공격 정의
- 2.웹자동화·데스크톱GUI·모바일·문서이해·영상처리 5개 도메인의 1,083개 적대적 경로로 구성된 데이터셋 MMA-SafetyBench 구축
- 3.9개 모델 평가에서 공격성공률 87.96%, 의미훼손률 98.09%에 달하는 높은 취약성 확인
- 4.안전우선 프롬프트를 적용해도 공격성공률만 낮아질 뿐 실패유형 자체는 사라지지 않음을 확인
왜 중요한가?
텍스트 전용 안전성 평가로는 포착되지 않는 시각 인터페이스 기반 공격면을 체계적으로 드러내, 화면을 보고 행동하는 에이전트 제품의 안전설계에 시각적 기만 방어가 반드시 포함돼야 함을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2610.19384v1 Announce Type: new Abstract: Multimodal agents increasingly rely on visual interfaces to perceive state and select actions, creating an attack surface not captured by text-only safety evaluations. We study Visual Semantic Hijacking, in which deceptive but semantically meaningful interface elements, such as forged system alerts, cause an agent to depart from its authorized task. We propose a trajectory-guided procedure that identifies candidate injection points and inserts rep
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안


