하네스 설계는 메모리·도구 사용·런타임 제어를 통합해 LLM 기반 에이전트 개발을 혁신했지만, 외부 소스의 악성 지침이 영속적 메모리에 기록되어 세션을 넘어 지속될 수 있는 보안·프라이버시 위험도 함께 낳는다. 이 논문은 이런 위험을 연구하기 위해 하네스 기반 에이전트를 겨냥한 영속 메모리 오염 공격 PMPA를 제안한다. PMPA는 정상적인 외부 소스에 악성 지침을 심어, 에이전트 프레임워크에 직접 접근하지 않고도 피해 에이전트가 이를 영속 메모리에 기록하도록 유도하며, 이후 세션에서 검색되어 추가 악성 행동과 프라이버시 유출을 일으킨다. OpenClaw와 Claude Code에서 평가한 결과 평균 주입 성공률(ISR)/세션 간 공격 성공률(C-ASR)이 각각 73.7%/55.5%, 66.9%/81.7%에 달했으며 정상 과업 성능은 유지됐다. 프롬프트 수준 방어는 일부 상황에서 메모리 주입을 줄였지만 메모리가 이미 오염된 후에는 보호 효과가 제한적이었다.
- •외부 소스의 악성 지침이 영속 메모리에 기록되어 세션을 넘어 지속되는 PMPA 공격 제안
- •에이전트 프레임워크에 직접 접근하지 않고 피해 에이전트가 스스로 악성 지침을 저장하도록 유도
- •OpenClaw에서 ISR/C-ASR 73.7%/55.5%, Claude Code에서 66.9%/81.7% 달성, 정상 성능 유지
- •프롬프트 수준 방어는 오염 이후에는 보호 효과가 제한적
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
When Malicious Instructions Persist: Persistent Memory Poisoning Attack on Harness-Based Agents
- 1.하네스 기반 AI 에이전트의 영속 메모리를 겨냥한 '지속 메모리 오염 공격(PMPA)' 제시
- 2.악성 지침을 정상 외부 소스에 은닉해 에이전트가 스스로 영속 메모리에 기록하도록 유도
- 3.OpenClaw에서 평균 주입성공률 73.7%·세션간 공격성공률 55.5%, Claude Code에서는 66.9%·81.7%
- 4.정상 작업 성능은 그대로 유지한 채 공격 성립, 프롬프트 수준 방어는 오염 후에는 보호 효과 제한적
왜 중요한가?
메모리·툴사용을 갖춘 에이전트 하네스가 빠르게 확산되는 가운데, 한 번 오염된 영속 메모리가 이후 세션까지 공격을 이어간다는 점은 메모리 쓰기·읽기 단계 자체의 검증이 필요함을 보여준다.
언급 프로젝트
LLM 기반 에이전트의 '하네스' 설계가 제공하는 편의성 뒤에 숨겨진 보안 취약성, 특히 외부의 악성 지시가 에이전트 메모리에 지속적으로 영향을 미치는 '메모리 포이즈닝' 공격을 경고하는 연구입니다. 국내 AI 에이전트 개발이 활발해지면서 다양한 외부 데이터와 도구를 연동하는 시도가 증가하고 있는데, 이는 국내 기업들에게 서비스의 장기적인 신뢰성과 보안 유지를 위해 에이전트의 메모리 관리 및 외부 입력 처리 방식에 대한 면밀한 재검토가 필요함을 시사합니다.
본문 미리보기
arXiv:2609.13889v1 Announce Type: new Abstract: Harness design has transformed the development of LLM-based agents by integrating memory, tool use, and runtime control. However, this design also introduces security and privacy risks because malicious instructions from external sources may be written into persistent memory and persist across sessions. To study this risk, we propose PMPA, a Persistent Memory Poisoning Attack against harness-based agents. PMPA embeds malicious instructions into be
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

