개인 데이터에 접근하는 LLM 기반 개인 AI 에이전트는 민감정보 공개 여부를 스스로 판단해야 하는데, 이 판단이 공격자가 통제하는 대화 맥락 안에서 이뤄지면 방어 메커니즘과 공격 표면이 겹치는 구조적 문제가 생긴다. 이 논문은 협업 프레임으로 위장한 유출 시도, 누락을 통한 유출을 유도하는 의미론적 난독화, 요청과 공개를 서로 다른 채널로 분리하는 채널 분리 공격 등 프롬프트 인젝션 없이도 가능한 세 가지 새 공격으로 기존 방어를 무력화함을 보인다. 대안으로 LLM 컨텍스트 바깥의 도구 수준 인터셉터에서 데이터 출처와 정보흐름제어 격자를 기반으로 기밀성을 강제하는 FLOWSEAL을 제시한다. 실제 MCP를 통한 실시간 도구 호출을 포함한 3개 벤치마크·8개 공격 평가에서 협업 프레임 공격의 유출률을 52.2%에서 0.5%로 낮추면서도 과업 성능은 유지했다.
- •프롬프트 인젝션 없이 가능한 3가지 신규 공격(협업 위장, 의미 난독화, 채널 분리)으로 기존 방어 무력화
- •LLM의 판단에 의존하는 기존 방어는 공격 표면과 방어 메커니즘이 겹치는 구조적 한계 보유
- •FLOWSEAL은 LLM 컨텍스트 밖 도구 수준 인터셉터에서 정보흐름제어로 기밀성 강제
- •실제 MCP 도구 호출 포함 평가에서 유출률을 52.2%→0.5%로 낮추며 과업 성능 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control
- 1.개인 AI 에이전트 방어가 LLM 자신의 판단에 의존하는 한, 공격자가 통제하는 맥락과 방어가 격는다는 구조적 결함 지적
- 2.협업 위장, 의미론적 은폐, 채널 분리 등 프롬프트 인젠션 없이도 통하는 새 공격 3종 제시
- 3.FLOWSEAL은 LLM 컨텍스트 밖의 도구 레벨 인터셉터로 기밀성을 강제, 정보흐름제어 격자를 적용
- 4.협업 위장 공격의 유출률을 52.2%에서 0.5%로 낮추면서도 작업 성능은 유지
왜 중요한가?
프롬프트 인젝션 없이 정상적인 상호작용만으로도 개인정보를 유출시킬 수 있다는 것은 기존의 '더 안전한 프롬프트' 중심 방어의 근본 한계를 보여주며, LLM 바깥에서 강제하는 설계로의 전환 지침을 제시한다.
개인화된 서비스 제공을 위해 사용자 사적 데이터에 접근하는 LLM 기반 AI 에이전트의 프라이버시 유출 위험을 다루고, 정보 흐름 제어를 통한 완화 방안을 모색합니다. 국내에서 AI 개인 비서 서비스 도입이 활발해지면서 개인정보 보호는 핵심적인 사회적 요구사항이자 규제 준수 문제입니다. 이 연구는 AI 에이전트 설계 시 민감 정보의 접근 및 처리 방식을 엄격하게 통제하여 사용자의 신뢰를 얻고 개인정보보호법 준수를 위한 실질적인 해법을 제시한다는 점에서 주목할 만합니다.
본문 미리보기
arXiv:2609.14003v1 Announce Type: new Abstract: Personal AI agents built on large language models (LLMs) are increasingly given access to a user's private data and communications in order to provide personalized assistance. This access creates a persistent privacy risk: the agent must decide whether a given sensitive information should be disclosed to a particular party. Existing defenses address this by making the agent's backend LLM more privacy-preserving through stronger system prompts, tra
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

