From Single-Actor Environments to Multi-Actor Event Worlds: Can LLMs Be Event World Models?↗ (원문, 새 창)

연구진은 여러 행위자가 각자 결정을 내리고 부분 관측만 되는 시스템을 '이벤트 월드'로 정식화하고, LLM이 로그와 제안된 행동으로부터 미래를 예측할 수 있는지 검증했다. 실제 외교(Diplomacy) 게임과 Polymarket 거래로 구축한 벤치마크에서 다단계 롤아웃과 에이전트 실용성을 비교했다. 모든 행위자의 행동이 주어지면 미세조정이 예측을 개선했지만, 에이전트 자신의 행동만 주어진 경우 다른 행위자의 영향이 큰 상황에서는 모델이 어려움을 겪었고 모델 확대도 큰 도움이 되지 않았다. 이 격차는 에이전트가 계획 성공률을 과대평가하게 만들었지만, 상상된 경험과 월드 모델 초기화는 정책 학습을 개선할 수 있었다.

• 여러 행위자가 독립적으로 행동하고 부분 관측만 가능한 시스템을 '이벤트 월드'로 정식화해 LLM 예측 능력 평가
• 실제 외교(Diplomacy) 게임과 Polymarket 거래로 구성한 벤치마크 사용
• 다른 행위자의 행동 정보가 없으면 모델이 미래 예측에서 크게 어려움을 겪고, 모델 확대로도 해결되지 않음
• 모델들이 다단계 예측에서 자신의 계획 성공률을 과대평가하는 경향 확인
• 상상된 경험과 월드 모델 기반 초기화는 정책 학습 성능 개선에 여전히 기여