BayesBench는 멀티턴 대화에서 LLM의 신념 업데이트가 합리적 베이지안 추론자와 얼마나 일치하는지 측정하는 시뮬레이션 벤치마크다. 순차 증거로 미지 파라미터를 추정하는 베이지안 추정, 잠재 변수에 대한 신념을 결과 예측으로 전환하는 베이지안 예측, 사용자 페르소나 프레임을 거친 관측에서 잠재 상태와 페르소나를 동시에 추론하는 과제까지 난이도가 점증하는 3개 태스크로 구성된다. 3B~70B 규모 LLM 7개를 평가한 결과, 모델이 커질수록 잠재 추론과 증거 축적이 개선돼 때로는 베이지안 사후분포에 근접했지만, 이 향상이 다운스트림 예측으로는 안정적으로 이어지지 않았다. 잠재 구조를 추론하는 능력과 이를 활용해 결과 신념을 합리적으로 갱신하는 능력 사이의 간극을 드러내며, 최종 답변만 채점하는 기존 평가의 한계를 보완한다.

• •멀티턴 증거 축적 상황에서 LLM 신념 궤적을 베이지안 기준과 비교하는 BayesBench 제안
• •베이지안 추정·예측·페르소나 프레임 예측의 난이도 점증 3개 태스크 구성
• •3B~70B 모델 7개 평가: 규모 확대로 잠재 추론 개선, 때로 베이지안 사후분포에 근접
• •잠재 구조 추론 향상이 다운스트림 예측 개선으로 안정적으로 이어지지 않는 간극 발견