연구진은 이미지·오디오를 읽는 에이전틱 AI 프레임워크를 겨냥한 멀티모달 프롬프트 주입 공격을 측정하는 벤치마크 MMPIBench를 공개했다. OCR 텍스트, 오버레이, EXIF 메타데이터, QR코드, 가짜 인터페이스 등 6가지 시각적 매개체로 공격을 전달해 지각-계획-도구 호출 단계까지 얼마나 침투하는지 720회 실행으로 측정했다. 공격 시도는 12.8%였지만 실제 성공은 약 1%에 그쳤고, 대부분 계획 단계에서 모델이 주입된 지시를 인식해 거부하며 차단됐다. 반면 오디오 채널로 확장했을 때는 신호가 도달한 경우 공격 성공률이 최대 75%까지 치솟아, 시각 외 지각 채널의 방어가 훨씬 취약함을 보여줬다.
- •6가지 시각적 매개체로 멀티모달 프롬프트 주입 공격을 측정하는 MMPIBench 공개
- •720회 실험에서 공격 시도는 12.8%지만 실제 성공은 약 1%에 그침
- •모델이 계획 단계에서 주입 지시를 인식해 거부하는 것이 방어의 핵심, 프레임워크보다 모델 자체가 중요
- •오디오 채널로 확장하면 신호 도달 시 공격 성공률이 49~75%로 급등, 방어 공백 존재
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks
- 1.이미지 등 시각 매체를 통한 프롬프트 인젝션을 측정하는 벤치마크 MMPIBench 공개
- 2.OCR텍스트·오버레이·EXIF·QR코드·가짜UI 등 6개 시각경로로 공격 전달, 6프레임워크·5모델·720회 실행
- 3.공격 시도율 12.8%에 실제 완료율은 약 1%로 낮으며, 차단은 대부분 계획단계에서 발생
- 4.오디오 채널로 확장 시 완료율이 최대 75%까지 치솟아 방어가 훨씬 취약함을 확인
왜 중요한가?
에이전틱 AI가 이미지·오디오 등 시각·청각 채널로 눈에 안 보이는 명령을 주입받을 수 있다는 위협을 정량적으로 측정해, 방어가 텍스트 위주로 집중된 현재 상황에서 비전·오디오 채널 보안 공백을 구체적으로 드러낸다.
언급 프로젝트
본문 미리보기
arXiv:2609.09404v1 Announce Type: new Abstract: Agentic AI frameworks let a language model plan, keep memory, and call tools that reach real files, mail, and services. Most of these agents also read images, which gives an attacker a way to put text into the agent's context without going through the user. We present MMPIBench, a reproducible benchmark that measures what happens next. It delivers a fixed set of attacks through six visual carriers (OCR text, overlays, EXIF metadata, QR codes, fake
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

