트리 구조 롤아웃을 이용한 검증가능보상 강화학습(RLVR)에서 분기 지점을 어디에 둘지가 학습 효율을 크게 좌우하는데, 이 연구는 모델의 답변 확신이 가장 크게 바뀌는 지점 직전에 분기하는 '신념전환 분기' 기법을 제안했다. 블랙박스 프로브, 로짓렌즈 깊이 프로파일, 오프라인 학습된 활성화 방향 등 3가지 방식으로 구현되며 단계별 지도 없이도 작동하고, 연산 비용은 수학에서 약 1%, 코드에서 5% 미만에 불과하다. 검증 실험에서 신념전환 신호는 8개 모델x벤치마크 조합 모두에서 엔트로피·구조·LLM심판 기준선을 제치고 1위를 기록했다. 실제 강화학습에서도 세 모델군에 걸쳐 모든 수학 지표에서 최고 성능을 보였고, OLMo-3-7B는 AIME 2026에서 기존 최강 기준선 대비 2.9점 앞섰다.

• •모델 확신이 가장 크게 바뀌는 지점 직전에 분기하는 '신념전환 분기' 기법 제안
• •연산 비용은 수학 약 1%, 코드 5% 미만으로 경량
• •8개 모델x벤치마크 조합 모두에서 기존 기준선 대비 분기 배치 정확도 1위
• •OLMo-3-7B가 AIME 2026에서 기존 최강 기준선 대비 2.9점 앞섬