AI 역량이 빠르게 발전하면서 여러 모델이 만점에 가까워져 벤치마크가 변별력을 잃는 '포화' 문제가 심각해지고 있다. 연구팀은 벤치마크 점수 대신 각 모델이 과제를 어떻게 풀었는지 보여주는 전체 전사(transcript)를 활용해 포화 이후에도 역량을 평가할 수 있는지 검증했다. 과거 벤치마크와 모델 출시를 재현해 포화를 시뮬레이션한 결과, 정답 전사만으로도 비포화 과제에서의 역량을 예측할 수 있었고, 특히 쌍대 비교(pairwise judging) 방식이 가장 우수해 포화 점수만 쓴 기준보다 예측 오차를 5.3배 줄였다. 다만 이런 예측력은 분포 변화에는 취약해 2025년 초 등장한 초기 추론 모델의 역량을 과소평가하는 등 한계도 드러났다.

• •벤치마크 포화 이후에도 전체 풀이 전사로 모델 역량을 예측 가능함을 실증
• •쌍대 비교(pairwise judging) 방식이 가장 우수, 포화 점수 단독 대비 예측 오차 5.3배 감소
• •역량 관련 정보는 추론·도구 호출 부분 등 특정 전사 채널에 집중
• •분포 변화에는 예측력이 흔들려 초기 추론 모델 역량을 과소평가하는 사례 발견