약한 보조 모델의 짧은 토큰 조각으로 강한 모델의 추론을 끌어올리는 오프폴리시 RL 기법 W2SPO가 제안됐다. 난도 높은 추론 과제에서 타깃 모델의 자체 롤아웃들이 같은 오류 '추론 분지(basin)'로 수렴해 보상 대비가 사라지는 support-limited 병목을 지적하고, 8토큰 수준의 짧은 보조 모델 세그먼트를 타깃 궤적 중간에 주입해 그 지점부터 타깃 모델이 추론을 이어가게 한다. 정책 업데이트는 최종 검증 보상에 근거해 삽입 구간에만 제한된다. 4B급 모델 수학 추론 벤치마크에서 평가된 사후학습 베이스라인을 앞섰고, 동일 샘플링 예산에서 GRPO 대비 Pass@1을 62.3%→64.2%로 높이며 학습 속도를 3.55배 개선했다. 약한 모델이 강한 모델의 국소 탐색 지지집합을 확장한다는 weak-to-strong 학습의 실증 사례다.
- •자체 롤아웃이 동일 오류 추론 분지로 수렴해 보상 대비가 사라지는 support-limited 병목 식별
- •약한 보조 모델의 8토큰 수준 짧은 세그먼트를 궤적 중간에 주입하는 오프폴리시 RL
- •정책 업데이트는 삽입 구간에만 제한, 최종 검증 보상 기반
- •동일 예산에서 GRPO 대비 Pass@1 62.3%→64.2%, 학습 속도 3.55배 향상
- •4B급 모델 수학 추론 벤치마크에서 평가된 사후학습 베이스라인 최고 성능
It Takes 8 Tokens: Weak-to-Strong Off-Policy RL via Auxiliary Branches
- 1.약한 보조 모델의 짧은 세그먼트(최소 8토큰)를 주입해 탐험을 넓히는 오프폴리시 RL 기법 W2SPO 제안
- 2.RLVR의 롤아웃들이 같은 오류 '추론 분지'에 수렴해 보상 대비가 사라지는 병목 규명
- 3.정책 업데이트를 삽입된 짧은 세그먼트에만 제한, 최종 검증 가능 보상 기반으로 학습
- 4.동일 샘플링 예산에서 GRPO 대비 Pass@1 62.3→64.2%, 학습 속도 3.55배 향상
왜 중요한가?
강한 모델의 탐험을 약한 모델이 유도하는 역발상으로, RLVR의 핵심 한계인 탐험 지원 부족을 값싸게 푸는 방법을 보였다. 4B급 추론 모델 학습에서 정확도와 학습 비용을 동시에 개선해 소형 모델 후처리 레시피에 실용적 의미가 있다.
본문 미리보기
arXiv:2607.16205v1 Announce Type: new Abstract: Reinforcement learning with verifiable rewards has emerged as a standard approach for enhancing reasoning in large language models, which typically optimizes the policy by contrasting multiple self generated rollouts. However, we identify a critical support limited bottleneck in this paradigm: on challenging reasoning tasks, the target model's samples often exhibit semantic redundancy, converging into the same erroneous "reasoning basins" that off
전체 내용이 궁금하다면?
원문을 직접 읽어보세요