LLM 에이전트의 런타임 맥락(사용자 프롬프트, 실행 경로, 도구 목록 등)을 유출시키는 공격은 사용자에게 심각한 보안·프라이버시 위험을 초래한다. 이런 공격은 악성 도구를 통해 이뤄지며 일반적으로 에이전트가 악성 도구를 작업 실행에 선택하고, 런타임 맥락을 도구의 입력 인자로 전달하며, 도구 구현이 이 입력을 공격자가 통제하는 엔드포인트로 전송하는 세 조건이 필요하다. 기존 연구는 주로 첫 번째와 세 번째 조건에 집중했고 두 번째 조건은 거의 다루지 않았는데, 연구진은 이 공백을 메우기 위해 에이전트가 도구를 선택하고 맥락을 입력 인자로 노출하도록 유도하는 악성 도구 공격 'ContextLeak'을 개발했다. 강화학습으로 공격용 LLM을 미세조정해 악성 도구의 이름과 설명을 자동 생성하도록 했으며, 맥락 유출 목표에 맞춘 새로운 보상 함수를 설계해 효과적인 미세조정을 가능하게 했다. 폭넓은 평가 결과 그림자 사용자의 맥락이 피해자 맥락과 크게 달라도 공격이 높은 효과를 유지했으며, 기존 악성 도구 공격을 크게 능가했다.
- •LLM 에이전트 런타임 맥락 유출 공격의 핵심 조건인 '맥락의 입력 인자 노출'을 최초로 집중 연구
- •강화학습으로 미세조정한 공격 LLM이 악성 도구 이름·설명을 자동 생성하는 ContextLeak 개발
- •맥락 유출 목표에 특화된 새로운 보상 함수 설계가 핵심 기술 기여
- •그림자 사용자와 피해자 맥락이 크게 달라도 공격 효과 유지됨을 실험으로 입증
- •기존 악성 도구 공격 대비 유의미하게 높은 성능 달성
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
- 1.악성 툴을 통해 LLM 에이전트의 런타임 컨텍스트를 탈취하는 공격 'ContextLeak' 제안
- 2.강화학습으로 악성 툴의 이름·설명을 자동 생성해 에이전트가 선택하고 컨텍스트를 넘기도록 유도
- 3.그림자 사용자 데이터로 공격 LLM을 파인튜닝해 피해자 컨텍스트가 달라도 높은 성공률 유지
- 4.기존 악성 툴 공격 대비 유의미하게 높은 성능으로 컨텍스트 유출 성공
왜 중요한가?
에이전트가 툴을 선택하는 과정 자체를 공격 표면으로 악용할 수 있음을 보여, 사용자 프롬프트·실행 이력 등 민감정보가 툴 설명만으로도 유출될 수 있다는 새로운 위협 유형을 제기한다.
언급 프로젝트
LLM 에이전트의 런타임 컨텍스트 유출은 사용자 프롬프트와 같은 민감한 정보가 외부로 노출될 수 있어 국내 AI 서비스 사용자들의 심각한 개인 정보 유출 위험을 야기합니다. 이 연구는 악성 도구를 통한 컨텍스트 유출 공격 가능성을 경고하며, 국내 AI 개발자들이 에이전트 설계 시 이러한 보안 취약점을 반드시 고려해야 함을 강조합니다. 이는 국내 AI 서비스의 신뢰성과 보안 강화를 위한 필수적인 고려 사항이며, 관련 규제 준수에도 중요합니다.
본문 미리보기
arXiv:2608.27800v1 Announce Type: new Abstract: Exfiltrating an LLM agent's runtime context -- such as the user prompt, execution trajectory, and tool list -- poses severe security and privacy risks to users. Such attacks can be carried out via malicious tools and typically require three conditions: (1) the agent selects the malicious tool for task execution, (2) the agent passes its runtime context as input arguments to the tool, and (3) the tool's implementation transmits these inputs to an a
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
