이 논문은 헬스케어 기록이나 금융 문서처럼 추론 시점에 숨겨진 컨텍스트로 조립되는 민감 데이터를 다루는 에이전트형 AI 시스템의 프라이버시 위험을 다룬다. 컨텍스트 비공개 지시, 로짓 억제, 컨텍스트 희석 같은 방어 기법을 적용해도, 평가 대상 웹브라우징 에이전트는 여전히 자신이 몰래 불러들인 기록에 대한 악용 가능한 신호를 노출하는 것으로 나타났다. 연구진은 이를 '컨텍스트 추론 공격'으로 정식화하고, 알려진 컨텍스트·알려지지 않은 컨텍스트·에이전트가 직접 검색한 컨텍스트라는 공격자 지식 감소 순의 세 시나리오에서 평가했다. 단일 공격 기법이 세 시나리오 모두에서 그대로 통했으며, 알려진 컨텍스트 대상 소규모 후보군에서 공격 성공률 100%(1024개 후보에서도 63%), 템플릿과 주변 기록이 미지일 때 AUROC 78.9, 14B 대리 모델이 32B 타깃을 평가할 때 AUROC 92.5, 에이전트의 검색 결과로 기록이 유입될 때 AUROC 81.8을 기록했다.
- •숨겨진 컴텍스트에 담긴 민감 데이터를 노출시키는 '컸텍스트 추론 공격'을 새롭게 정식화했다.
- •비공개 지시·로짓 억제·컸텍스트 희석 방어에도 웹브라우징 에이전트가 여전히 취약함을 확인했다.
- •알려진 컸텍스트 대상 소규모 후보군에서 공격 성공률 100%를 기록했다.
- •템플릿·주변 기록이 미지인 상황에서도 AUROC 78.9의 높은 탐지력을 보였다.
- •14B 대리 모델로 32B 타겟을 평가할 때 AUROC 92.5로 가장 높은 탐지 성능을 보였다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Context Inference Attacks Without Jailbreaks
- 1.에이전트형 AI가 도구호출로 조립하는 '숨겨진 컨텍스트'(의료및금융문서 등) 유출 위험 지적, 기존 연구는 탈옥공격에만 집중
- 2.컨텍스트 비공개 지시·로짃억제·컨텍스트희석 방어책에도 에이전트가 유출에 취약함을 실증
- 3.보안게임으로 '컨텍스트추론공격' 정식화, 기지·미지·자체검색 컨텍스트 3단계로 평가
- 4.단일 공격이 세 설정 모두 관통, 기지 컨텍스트 100% ASR, 14B대리모델로 32B타겟 채점 시 92.5 AUROC 달성
왜 중요한가?
기존 프라이버시 방어는 탈옥을 통한 직접 유출 차단에 집중했는데, 이 연구는 에이전트가 스스로 조립한 컨텍스트에서 탈옥 없이도 정보가 새어나갈 수 있음을 보여 RAG·도구호출 기반 에이전트 배포 시 놓치기 쉬운 새로운 공격면을 드러낸다.
AI 시스템이 민감한 개인 데이터를 처리하는 과정에서 발생하는 정보 유출 위험은 국내에서도 심각하게 다루어지는 문제입니다. 이 연구는 '탈옥(jailbreak)' 없이도 시스템의 숨겨진 컨텍스트에서 민감 정보를 추론할 수 있는 공격을 밝혀내, 국내 AI 서비스 제공자들이 개인정보보호 설계를 더욱 강화해야 할 필요성을 강조합니다. 이는 국내 AI 시스템의 보안 수준을 높이는 데 필수적인 고려사항이 될 것입니다.
본문 미리보기
arXiv:2609.01663v1 Announce Type: new Abstract: Agentic AI systems are increasingly deployed to process sensitive data at inference time, such as healthcare records or financial documents assembled into a hidden \emph{context} before the system answers. Prior work has studied privacy risks primarily through \emph{jailbreaking} attacks that induce models to directly disclose sensitive content, but has largely overlooked the agentic setting where the context is assembled by the agent's own tool c
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
