MemForm: Benchmarking Memory Formation Poisoning in LLM Agents

출처:arXiv cs.CR (암호학·보안)

AI 인사이트

개발자

1.LLM 에이전트의 장기 기억 '형성' 과정을 겨냥한 공격을 체계화한 벤치마크 'MemForm' 공개
2.Content·Evidence·Scope·Selection·Path 5개 인터페이스별 기억 오염 취약점을 통제 실험으로 평가
3.6개 LLM·2개 응답형식 평가에서 모든 인터페이스가 광범위하게 취약함을 확인
4.결과가 좋은 정상 경험조차 기억 형성 방식(보존·통합 순서)에 따라 이후 행동이 왜곡될 수 있음을 입증

왜 중요한가?

에이전트가 '무엇을' 기억하는지만이 아니라 '어떻게' 기억을 형성하는지도 보호해야 한다는 새 공격 표면을 체계화해, 장기 기억을 쓰는 LLM 에이전트 설계에 보안 체크리스트를 제공한다.

언급 프로젝트

MemForm

본문 미리보기

arXiv:2610.14431v1 Announce Type: new Abstract: Long-term memory enables LLM agents to learn from past interactions but exposes memory formation to adversarial influence. Existing studies primarily organize memory poisoning by attack channels, corruption patterns, or lifecycle stages, leaving formation interfaces insufficiently characterized. We formulate Memory Formation Poisoning as adversarial manipulation of the interfaces through which persistent agent memory is produced and committed, and

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기