PM-Bench는 LLM 에이전트의 전향 기억(prospective memory)—다른 활동을 하는 중에 특정 미래 신호나 상태에서 의도를 실행하는 능력—을 측정하는 텍스트 기반 벤치마크다. 인지과학의 Virtual Week 패러다임에서 착안해, 시뮬레이션된 7일 동안 에이전트가 진행 중인 활동을 계속하면서 유예된 과제의 실행 시점이 됐는지 판단하고, 사용자 의도 유지와 잠재적 환경 변화 모니터링까지 평가한다. 최신 LLM 8종을 8가지 에이전트 구성으로 비교한 결과 모든 설정에서 어려웠으며, 최고 성적인 GPT-5.4 에이전트도 F1 65.1%에 그쳤다. 전향 기억을 개선하는 단일 전략이 모델 전반을 지배하지도 않았다. '나중에 X 해줘'류 지시를 믿고 맡기기엔 현재 에이전트가 불안정함을 보여주는 결과로, 진단과 개입 개발용 통제 테스트베드로 공개됐다.

• •미래 시점·조건에서 의도를 실행하는 전향 기억을 측정하는 최초급 벤치마크 PM-Bench 공개
• •인지과학 Virtual Week 패러다임 기반 — 시뮬레이션 7일간 진행 중 활동과 유예 과제 실행을 병행 평가
• •최신 LLM 8종×8가지 에이전트 구성 비교에서 최고 성적(GPT-5.4)도 F1 65.1%에 그침
• •전향 기억 개선 전략 중 모든 모델에서 우위인 단일 방법은 부재