외부 도구와 결합된 LLM 에이전트는 직접·간접 프롬프트 주입, 메모리 오염, 백도어 공격 등 다양한 적대적 공격에 취약하다. 연구진은 이 네 가지 공격 유형을 아우르는 통합 프레임워크 안에서 실용적이고 일반화 가능한 방어 전략을 제시했다. 이상 탐지(Isolation Forest 등)로 의심스러운 도구를 걸러내는 '공격자 도구 필터링'과 계획 수립 전 에이전트의 원래 도구셋을 복원하는 화이트박스 기법 '정상 도구 재호출'이라는 두 가지 범용 도구 기반 방어를 도입하고, 사고사슬(Chain-of-Thought) 프롬프팅·자기반성 기법·과제 재구성 같은 프롬프트 기반 방어도 결합했다. 오픈소스 LLM 4종(Gemma2-9B, Qwen2-7B, LLaMA3-8B, LLaMA3.1-8B)과 상용 LLM 3종(GPT-3.5, GPT-4, GPT-5)에 걸친 실험에서 공격 성공률을 크게 낮춰 다수 설정에서 0%를 달성하면서도 원래 과제 성공률은 유지하거나 오히려 개선했다. 단순하고 모듈화된 다층 방어만으로 도구 통합 LLM 에이전트의 보안을 크게 강화할 수 있음을 보여준 결과다.
- •이상탐지 기반 '공격자 도구 필터링'과 화이트박스 '정상 도구 재호출' 두 가지 범용 방어 기법 제안
- •사고사슬 프롬프팅·자기반성·과제 재구성 등 프롬프트 기반 방어도 병행
- •오픈소스 4종·상용 3종 LLM 실험에서 다수 설정에서 공격 성공률 0% 달성
- •과제 성공률을 유지하거나 오히려 개선하면서 보안성 강화
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
- 1.이상탐지 기반 'Attacker Tool Filtering'과 'Normal Tool Recalling'으로 4대 공격유형 통합방어 제안
- 2.Gemma2-9B·Qwen2-7B·LLaMA3 계열과 GPT-3.5·4·5 등 7개 모델 실험, 다수 설정서 공격성공률(ASR) 0% 달성
- 3.체인오브소트·자기성찰·과제 재구성 등 프롬프트 기반 방어를 결합해 원래 과제 성공률을 유지하거나 오히려 향상
왜 중요한가?
툴 연동 LLM 에이전트가 늘면서 프롬프트 주입과 백도어 공격 표면이 커지는 가운데, 모델 재학습 없이 적용 가능한 모듈형 방어책이라는 점에서 실무 적용 가능성이 높다.
본문 미리보기
arXiv:2609.16098v1 Announce Type: new Abstract: Large Language Model (LLM) agents have demonstrated impressive capabilities across a variety of domains, particularly when integrated with external tools for multi-step task completion. However, they are increasingly vulnerable to adversarial attacks, including direct prompt injection, indirect prompt injection, memory poisoning, and backdoor attacks, which exploit the model's openness to prompt injection and tool manipulation. In this work, we ex
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

