장기 실행 언어 에이전트의 외부 메모리 활용 양상을 연구한 논문으로, 유한한 컨텍스트와 반복 검색 하에서 에이전트 메모리가 소수 핵심 상태에 집중되고 희귀 상태는 긴 꼬리(long tail)로 밀려나 예측 오차가 누적되는 현상을 분석했다. 무작위 보행 에이전트는 로그정규분포에 가까운 검색 패턴을 보였고, 의미 기반 LLM 정책은 절단된 거듭제곱 법칙에 가까운 핵심-꼬리 구조를 가장 강하게 보였다. 연구팀은 이를 바탕으로 단일 지수 τ로 프롬프트 예산을 순위 기반 배분하면서 꼬리를 요약 형태로 유지하는 메모리 컨트롤러 'Core-Tail World Model(CTWM)'을 제안했다. CTWM은 합성 그래프 월드에서 상태·전이 커버리지를 완전히 유지하면서 프롬프트 토큰을 5.9% 줄이고 하위 절반 꼬리 예측 오차를 13.6% 낮췄으며, ALFWorld와 LongMemEval에서도 정확도를 유지한 채 토큰을 최대 24.48% 절감했다.
- •장잉 언어 에이전트의 매모리가 소수 핵심 상태에 집중되고 희관력 상태는 긴 꼬리된다는 것을 분석, 이는 검사 오류 누적을 으띔다.
- •의미 기반 LLM 정책이 절단된 거뗌제걸 롱골에 가까운 가장 강한 핵심-꼬리 감조를 보임.
- •순위 기반 바붐읰 제어기 CTWM을 제안, 합성 기단 월드에서 피롤땨 토큰 5.9% 절감, 하위 꼬리 예치 오륨 13.6% 감소.
- •ALFWorld·LongMemEval에서도 정횃륨륡 유지하다 토컸을 최똈 24.48% 절감하는 효과를 확인.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Heavy-Tailed Memory Traces in Long-Horizon Language Agents
- 1.장기 에이전트 메모리가 소수 핵심 상태에 집중되고 희귀 상태는 '긴 꼬리'로 밀려나는 현상 규명
- 2.무작위 탐색 에이전트는 로그노멀형, 의미 기반 LLM 정책은 절단 거듭제곱법칙형 핵심-꼬리 분포를 보임
- 3.Core-Tail World Model(CTWM)은 Synthetic Graph World에서 토큰 5.9%↓, 꼬리 예측오차 13.6%↓
- 4.ALFWorld·LongMemEval에서도 일관된 토큰 절감 확인, LongMemEval에서는 정확도 유지하며 토큰 24.48% 감소
왜 중요한가?
에이전트 메모리를 성공률·토큰 비용으로만 평가하던 관행에서 벗어나, 메모리 사용의 '분포 형태'를 제어 가능한 신호로 활용해 장기 기억형 에이전트 효율을 높이는 구체적 방법을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.00010v1 Announce Type: new Abstract: Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval, agent memory can concentrate on a small core while leaving rare states in a long tail where prediction errors accumulate. We study this effect through a conservative tail a
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
