LLM 기반 에이전트는 셸 명령 실행, 코드 수정, 의존성 설치, 원격 서비스 상호작용까지 포함하는 장기·종단 간 워크플로를 점점 더 자율적으로 수행하면서 외부 콘텐츠에 숨겨진 적대적 지시가 정당한 작업 지시로 해석되는 간접 프롬프트 주입(IPI)에 대한 노출도 커지고 있다. 기존 평가는 흔히 고립된 악성 문자열이나 단일 단계 도구 호출, 좁게 설정된 에이전트 구성에만 초점을 맞춘다. 연구팀은 장기 에이전트 워크플로 전 생애주기에서 IPI를 평가하는 종단 간 벤치마크 INFUSE를 제시했는데, 40개 현실적 과제와 5개 위협 범주에 걸친 56개 공격 시나리오 체계를 포함한다. GPT, Claude, Gemini, Llama, Gemma, Qwen 계열 19개 모델을 평가해 4만1824개의 적대적 궤적을 생성했으며, 평균 공격 성공률은 LLM 기반 평가 기준 19.6%였고 모델별로는 3.2%에서 41.9%까지 편차가 컸다. 기존 가드 모델은 보호 효과가 제한적이었지만 프롬프트 수준의 지시 강화는 평균 공격 성공률을 58.2%에서 14.3%로 낮췄다.
- •장기 에이전트 워크플로 전 생애주기의 간접 프롬프트 주입(IPI)을 평가하는 종단 간 벤치마크 INFUSE 제안
- •40개 현실적 과제, 5개 위협범주 56개 공격 시나리오, 실제 상호작용 표면을 통한 공격 주입
- •19개 LLM 평가로 4.18만 개 적대적 궤적 생성, 평균 공격 성공률 19.6%(모델별 3.2~41.9%)
- •기존 가드 모델은 보호 효과 제한적, 프롬프트 수준 지시 강화는 공격 성공률을 58.2%→14.3%로 감소
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
INFUSE: A Unified Surface Benchmark for Indirect Prompt Injection in Agentic Systems
- 1.INFUSE는 장기 에이전트 워크플로우 전체의 간접 프롬프트 인젝션을 평가하는 벤치마크(과제40·시나리오56)
- 2.GPT·Claude·Gemini 등 19개 LLM 평가로 공격 궤적 41,824건(방어 없는 경우 26,220건) 생성
- 3.LLM 평가 기준 평균 공격성공률 19.6%, 모델별 3.2%~41.9%의 큰 편차
- 4.프롬프트 수준 지시 강화로 평균 공격성공률을 58.2%→14.3%로 낮췄으나 가드모델 효과는 제한적
왜 중요한가?
초기 프롬프트·단일 툴콜에만 집중했던 기존 평가와 달리 쉘·코드수정·원격상호작용까지 포함한 실제 장기 워크플로우에서 간접 인젝션을 측정, 상용 LLM 에이전트들의 취약도를 모델별 수치로 드러낸다.
복잡한 워크플로우를 수행하는 LLM 기반 에이전트들이 '간접 프롬프트 주입'에 노출될 위험이 커지고 있으며, 이를 평가하기 위한 통합 벤치마크 'INFUSE'가 제시되었습니다. 국내에서 자율적인 AI 에이전트 활용이 증가함에 따라, 외부 서비스 연동 과정에서 발생할 수 있는 간접 공격에 대한 이해와 방어는 필수적입니다. 이 벤치마크는 국내 AI 개발사들이 에이전트의 보안 강도를 객관적으로 측정하고 개선하는 데 중요한 기준점이 될 것입니다.
본문 미리보기
arXiv:2610.20776v1 Announce Type: new Abstract: LLM-based agents increasingly execute long-horizon, end-to-end workflows involving shell commands, code modification, dependency installation, and interaction with remote services. This growing autonomy expands their exposure to indirect prompt injection (IPI), where adversarial instructions embedded in external content are interpreted as legitimate task directives. Existing evaluations, however, often focus on isolated malicious strings, single-s
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안