사용자를 기억하는 장수명 파운데이션 모델 에이전트에서, 기억 설계 선택이 개인화 효용·추출 위험·삭제 충실도를 어떻게 함께 좌우하는지를 '배포 시점 기억(deployment-time memorization)'으로 정식화한 연구다. 개인화 재현율(PR)과 적대적 추출률(AER)로 프라이버시-효용 경계를 측정하고, 요약 공격성·검색 폭(k)·삭제 모드 세 손잡이를 조정했다. 또 삭제 정보가 파생 기억 계층에서 복구 가능한지를 재는 망각 잔여 점수(FRS)를 도입했다. LongMemEval에서 핵심 사실 요약은 Gemma 3 12B의 카나리 추출을 76%, GPT-4o-mini를 64% 줄이면서 개인화 재현율은 거의 보존했고, 압축 후엔 k를 늘려도 누출이 복원되지 않았다. 다만 원본만 삭제하면 약 20%에서 파생 요약본이 복구돼, 전체 파이프라인 정리나 툼스톤 편집만이 잔여를 0으로 만들었다.
- •에이전트 기억을 개인화 효용·추출 위험·삭제 충실도의 '배포 시점 기억'으로 정식화
- •개인화 재현율(PR)·적대적 추출률(AER)로 프라이버시-효용 경계 측정
- •핵심 사실 요약으로 Gemma 3 12B 카나리 추출 76%, GPT-4o-mini 64% 감소
- •압축 후에는 검색 폭(k)을 늘려도 누출이 복원되지 않음
- •원본만 삭제 시 약 20%에서 파생 요약본이 복구돼, 전체 정리·툴스톤만 잔여 0 달성
Deployment-Time Memorization in Foundation-Model Agents
- 1.에이전트 메모리를 PR·AER로 측정하는 프라이버시-효용 경계로 정식화
- 2.키팩트 요약이 canary 추출을 Gemma 3 12B서 76%·GPT-4o-mini서 64% 감소
- 3.정보 압축 후엔 검색폭 k를 늘려도 유출이 복원되지 않음
- 4.원본만 삭제 시 약 20%서 파생 요약본 복원—완전 퍼지/턬스톤 필요
왜 중요한가?
장기 지속되는 에이전트 메모리를 일급 암기 메커니즘으로 보고 개인화 효용·추출 위험·삭제 충실도를 동시에 평가해야 함을 보여, 메모리 설계 선택이 프라이버시와 삭제권 보장에 직접 영향을 줌을 정량화했다.
🏷️ 언급 프로젝트
파운데이션 모델 에이전트의 '기억'이 단순히 모델의 특성을 넘어 배포 시점의 명시적인 기능으로 부상하며, 사용자 상호작용 전반에 걸친 기억을 다룹니다. 장기적으로 사용자와 상호작용하는 AI 에이전트 개발이 활발한 국내 시장에서, 개인화된 서비스와 더불어 사용자 데이터 프라이버시, 윤리적 AI 운영에 대한 면밀한 고려가 필수적임을 보여줍니다.
본문 미리보기
arXiv:2606.10062v1 Announce Type: new Abstract: Foundation-model agents are increasingly long-lived systems that remember users across interactions, making memorization an explicit deployment-time function rather than solely a property of model weights. Existing work addresses parametric memorization or audits fixed memory configurations, but does not characterize how memory-design choices jointly shape personalization utility, extraction risk, and deletion fidelity. We study this surface as de
전체 내용이 궁금하다면?
원문을 직접 읽어보세요