이 논문은 개인 언어 에이전트가 한 청중으로부터 학습한 사실을 다른 청중용 프롬프트에 잘못 포함시키는 '메모리-맥락 전환' 단계가 공격 표면이 될 수 있다는 문제를 다룬다. 저자들은 항목이 기록될 당시의 청중 정보를 유지하고, 현재 뷰어 집합이 그 청중에 완전히 포함될 때만 해당 항목을 맥락에 포함시키는 반단조(anti-monotone) 규칙인 '맥락 이전 인가(authorization before context)'를 제안한다. 이 경계는 모델 행동이 아닌 배제(exclusion)를 통해, 좁은 청중용으로 기록된 정보가 더 넓은 청중에게 도달하지 않고 오염된 메모리도 스스로 청중 범위를 넓힐 수 없음을 보장하는 모델 중립적 불변량이다. 합성 Contextual-Integrity 테스트에서 이 경계를 적용한 시스템은 금지된 사실이 전혀 맥락에 포함되지 않은 반면, 범위 제한이 없는 기존 방식은 구조적으로 그런 사실을 포함시켰다.
- •개인 언어 에이전트의 메모리-맥락 전환 단계가 청중 간 정보 유출의 공격 표면이 될 수 있음을 지적한다.
- •기록 당시 청중 정보를 유지하고 현재 뷰어가 그 청중에 완전히 포함될 때만 항목을 허용하는 반단조 규칙을 제안했다.
- •이 규칙은 모델 행동이 아닌 배제를 통해 좋은 청중용 정보가 넓은 청중에 도달하지 않도록 보장하는 모델 중립적 경계다.
- •합성 테스트에서 이 경계 적용 시 금지된 사실이 전혀 유출되지 않은 반면, 범위 제한 없는 기존 방식은 유출을 허용했다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Authorization Before Context: A Model-Neutral Audience Boundary Against Cross-Audience Memory Leakage in Agentic Systems
- 1.개인 언어 에이전트의 '메모리→컨텍스트' 청중 유출 취약점 겨냥한 규칙 제안
- 2.기억 항목에 기록 당시 청중 부착, 현재 열람자 전원 포함 시만 컨텍스트에 반영
- 3.합성 테스트에서 금지된 사실 노출 0건, 기존 무제한 베이스라인은 노출 발생
왜 중요한가?
개인화 AI 에이전트가 여러 사용자·채널 간 기억을 공유할 때 발생할 수 있는 정보 유출을 모델 행동이 아닌 구조적 배제로 원천 차단한다는 점에서, 멀티유저 에이전트 시스템의 프라이버시 설계에 실질적 지침이 된다.
본문 미리보기
arXiv:2608.17148v1 Announce Type: new Abstract: A personal language agent learns a fact from one audience and may later place it in the prompt it assembles for another. This memory-to-context step is an attack surface: ambiguous or inconsistent channels, cross-audience prying, and poisoned memory can each cause the system to assemble context containing a fact relevant to the query yet unauthorized for the current viewers. We introduce authorization before context: a single, anti-monotone audien
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:02AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
