0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution
출처:arXiv cs.CR (암호학·보안)
AI 인사이트
개발자
- 1.WebMirage: 국소적 시각 교란만으로 웹 에이전트를 공격자 의도대로 조작
- 2.역할-슬롯 추상화와 웹페이지 재구성으로 요소 간 경쟁 구조까지 포착
- 3.6개 VLM 백본·4개 에이전트 구성·13개 사이트·2,250개 과제에서 평가
- 4.공격 성공률 91.9%로 기존 최강 베이스라인(17.4%) 대비 압도적 우위, 방어 3종도 무력화
왜 중요한가?
모델 출력 조작에만 집중하던 기존 레드티밍과 달리 그라운딩부터 실행까지 전체 파이프라인을 공격해 실제 브라우저 동작까지 장악할 수 있음을 보여, 비전-언어 기반 웹 에이전트의 방어 설계를 재점검해야 함을 시사한다.
언급 프로젝트
본문 미리보기
arXiv:2610.09240v1 Announce Type: new Abstract: Modern web agents built on large vision-language models process webpages, select relevant UI elements, and translate model outputs into browser actions. Existing visual red-teaming approaches use adversarial visual content to manipulate this process. However, they primarily target model inference and do not explicitly account for structured input processing or action post-processing. Consequently, model-level success does not establish control ove
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#웹에이전트#적대적이미지#비전언어모델#에이전트보안
이 글이 만들어진 과정
- 11:24AI 초안
