MERIT는 대화 기록 회상만 측정해온 기존 장기 기억 벤치마크와 달리, 기억된 사실이 실제로 도구를 사용하는 에이전트의 행동을 바꾸는지를 비용까지 명시적으로 측정하는 벤치마크다. 세 영역의 에피소드형 도구 사용 과제와 갱신된 사실 회상까지 포함한 난이도 사다리, 통제된 기억 손상, 모든 기억 연산의 토큰·비용 계측을 제공한다. 총 23,440개 에피소드(42.57달러) 실험에서 기억은 과제 성공률을 0에서 0.55~1.00까지 끌어올렸지만, 갱신된 사실에 대해서는 임베딩 검색 성능이 0.30~0.95로 예측 불가능하게 무너졌고 에이전트가 올바르게 검색한 값을 실제로 사용하는 비율은 55%에 그쳤다. 반면 구조화된 사실 저장소 같은 갱신형 저장 방식은 0.70~1.00을 유지했으며, 메모리 구현을 바꾸는 것만으로 과제 성공률이 최대 60점 차이 났고 전체 재생은 어떤 경우에도 경제적이지 않았다.

• •대화 회상이 아닌 '기억이 실제 행동을 바꾸는가'를 비용까지 계측하는 MERIT 벤치마크 제안
• •23,440개 에피소드(42.57달러) 실험에서 기억 도입 시 과제 성공률이 0→0.55~1.00로 상승
• •갱신된 사실에서 임베딩 검색은 불안정(0.30~0.95)하고 올바른 값 활용률은 55%에 불과
• •구조화된 사실 저장소 등 갱신형 저장 방식이 가장 안정적(0.70~1.00)이며 전체 재생은 비경제적
• •메모리 구현 선택만으로 과제 성공률이 최대 60점 차이 발생