지속형 AI 에이전트는 반성·검색·통합을 통해 자전적 상태를 구축하지만, 지속성은 정보의 가용성만 바꿀 뿐 인식론적 지위를 바꾸지는 않는다. 저장되거나 검색된 내용이 그 자체로 뒷받침되는 것은 아니며, 신뢰할 수 없는 입력·프롬프트 주입·모델 추론이 지속 상태에 들어가 나중에 에이전트 이력이나 사용자 약속으로 제시될 수 있다. 연구진은 자전적 주장의 경계 유지를 위한 유형화된 출처 및 주장 가드레일을 규정했다. 유형화된 출처 그래프가 기원·의존 계보·인식론적 역할·유효성·공개 범위를 분리하고, 리졸버가 권한이 부여된 상태 투영을 평가해 증거 상태·상충·낡음·보류 플래그와 보호된 결정 증거를 반환하며, 생성-검증-수정 중재자가 후보 주장을 공개 전에 검사한다. 24개 수작업 적합성 사례 실험에서 유형화 중재는 19개 안전하지 않은 기회 중 어느 것도 무자격으로 통과시키지 않으면서 지원되는 5개 통제는 모두 유지했다. 반면 평면/사전 비교 규칙과 출처 태그 비교 규칙은 각각 19개 중 19개, 18개의 안전하지 않은 후보를 통과시켰다.
- •지속형 AI 에이전트의 저장된 정보가 자동으로 신뢰성을 얻지 않는다는 문제를 정면으로 다룸
- •유형화된 출처 그래프로 기원·의존 계보·인식론적 역할·유효성·공개 범위를 분리 관리
- •리솔버와 생성-검증-수정 중재자를 통해 공개 전 후보 주장을 검사하는 가드레일 체계 설계
- •24개 수작업 적합성 사례에서 유형화 중재는 안전하지 않은 후보 19개를 모두 차단
- •기존 평면/사전 비교, 출처 태그 비교 규칙은 안전하지 않은 후보의 대부분(19/19, 18/19)을 통과시켜 취약성 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Stored Is Not Supported: Typed Provenance and Assertion Guardrails for Persistent AI Agents
- 1.지속형 AI 에이전트의 기억이 프롬프트 인적션·모델오염으로 오염되어 가짜 '에이전트 이력'으로 둔값될 위험 지적
- 2.저장·검색 정보가 자동으로 근거를 갖지 않는다는 원칙, 타입화 출처와 주장 가드레일 제시
- 3.타입화 출처 그래프로 출처·계보·역할·유효성·공개범위 분리, 리솔버가 증거상태·충돌·오래됨 플래그 반환
- 4.24개 수작업 테스트에서 타입화 중재가 19개 위험 기회 중 무자격 통과 0건(단순규칙은 19/19, 18/19 방출)
왜 중요한가?
장기 실행되는 AI 에이전트의 메모리가 프롬프트 인젝션 등으로 오염돼 허위 이력이나 가짜 사용자 승인으로 악용될 위험을 정면으로 다루며, 대조 실험으로 단순 규칙 대비 안전성 격차를 정량 입증해 에이전트 메모리 설계에 실질적 가드레일을 제공한다.
본문 미리보기
arXiv:2609.02127v1 Announce Type: new Abstract: Persistent AI agents construct autobiographical state through reflection, retrieval, and consolidation. Persistence changes availability, not epistemic standing: stored or retrieved material is not thereby supported. Untrusted inputs, prompt injections, and model inferences can therefore enter persistent state and later be presented as agent history or user commitments. We specify typed provenance and assertion guardrails for autobiographical asse
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
