Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning↗ (원문, 새 창)

연구팀은 추론 LLM이 정답에 도달한 후에도 불필요하게 추론을 이어가며 연산을 낭비하거나 정답을 오답으로 바꾸는 문제를 해결하기 위해, 결과 예측과 중단 제어를 분리하는 기법 BELT(BELief-based Termination)를 제안했다. 동결된 LLM의 은닉 상태로부터 현재·미래 답변에 대한 신념을 학습한 뒤, 동결된 특징 위에 선형 중단 정책을 적합시켜 하나의 프로브로도 CPU 상에서 정책 재적합이나 임계값 조정만으로 다양한 정확도-비용 트레이드오프를 지원한다. 5개의 분포 외(OOD) 수학 벤치마크 평균에서 BELT는 정확도 손실 없이 Qwen3-1.7B에서 생성 토큰을 41%, OLMo-3-7B-Think에서 51% 줄였으며, 수학 데이터로만 학습했음에도 코딩·에이전트 과업에도 추가 학습 없이 전이됐다. OLMo3에서는 최강 베이스라인 OS-Pruner의 체크포인트 하나보다 21.2배 적은 파라미터로, 5개 가격별 체크포인트 대비 55배 적은 학습 GPU 시간으로 동등하거나 더 나은 성능을 냈다.

• 결과 예측과 추론 중단 결정을 분리하는 BELT(BELief-based Termination) 기법 제안
• 동결된 LLM 은닉 상태 위에 선형 정책을 적합시켜 하나의 프로브로 여러 비용 수준 지원
• 5개 OOD 수학 벤치마크에서 정확도 손실 없이 생성 토큰을 최대 51%까지 절감
• 수학 데이터로만 학습했음에도 코딩·에이전트 과업에 추가 학습 없이 전이되는 범용성 확인