Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences↗ (원문, 새 창)

연구팀은 개인 에이전트가 사용자의 상호작용 선호(언제 확인·확정을 요청하고 언제 자율적으로 행동할지)를 학습하고 반영하는지 평가하는 상호작용형 환경 MemPABench를 소개했다. 기존 메모리 벤치마크가 사실 회상이나 개인화된 답변에 집중된 것과 달리, 이 환경은 4개월에 걸친 99개 세션과 업무·개인 영역의 14개 선호를 가진 4명의 모의 사용자를 통해 선호 선택, 실행된 행동, 맥락 변화에 대한 민감도를 평가한다. 4개의 메모리 시스템(Mem0, MemOS, 단순 RAG, 파일 기반 메모리)을 4개의 LLM 백본에서 평가한 결과, 현재 메모리 기법은 선호 선택에서 제한적인 개선만 보였다. 검색 기반 메모리는 메모리를 쓰지 않는 경우보다 나은 성능을 보이지 못했고, 파일 기반 메모리는 정확도는 높였지만 관련 없는 맥락에까지 선호를 과도하게 적용했으며, 선호가 바뀐 경우 모델의 기본 상호작용 습관을 뒤집는 것 자체가 어려웠다.

• 개인 에이전트가 사용자 상호작용 선호를 학습·반영하는지 평가하는 환경 MemPABench 소개
• 4개월·99세션·4명의 모의 사용자·14개 선호로 구성된 장기 상호작용 평가 데이터 구축
• 검색 기반 메모리(Mem0, MemOS, RAG)는 메모리 없음 대비 뚜렷한 개선을 보이지 못함
• 파일 기반 메모리는 정확도는 높였으나 관련 없는 맥락까지 선호를 과잉 적용하는 문제 발견