RLVR(검증 가능 보상 강화학습)이 추론 능력을 끌어올리지만 가독성 저하·언어 혼합 같은 특이한 추론 패턴으로 흘러, 약한 에이전트나 인간이 그 능력을 활용하기 어렵다는 호환성 문제를 겨냥한 연구다. 제안된 Tandem Reinforcement Learning(TRL)은 학습되는 강한 'senior' 모델과 고정된 약한 'junior' 모델이 확률적으로 번갈아 추론을 공동 생성하고, 그 결과에 보상을 매겨 senior에만 GRPO 손실을 적용한다. Qwen3-4B-Instruct를 경쟁 수학으로 학습한 결과, 단독 추론 성능은 vanilla GRPO와 동등하면서 junior와의 핸드오프 강건성, junior로부터의 분포 이탈 감소, junior가 읽기 쉬운 사고사슬이라는 세 특성이 동시에 나타났다. 다중 모델 협업과 인간 호환성이라는 실용적 이점을 지닌 RLVR 경로를 보여준다.

• •RLVR의 부작용(가독성 저하·언어 혼합 등 특이 패턴)으로 약한 모델·인간이 결과를 활용하기 어려운 호환성 문제가 출발점
• •강한 senior와 고정된 약한 junior가 확률적으로 번갈아 추론을 공동 생성하고 팀 단위로 보상받는 TRL 제안
• •Qwen3-4B-Instruct 경쟁 수학 학습에서 단독 추론 성능은 vanilla GRPO와 동등
• •핸드오프 강건성 향상, 분포 이탈 감소, junior에게 더 읽히는 사고사슬 세 특성이 동일 롤아웃 구조에서 동시 창발
• •기존 tandem training을 proof-of-concept을 넘어 현대 RLVR 파이프라인의 긴 사고사슬로 확장한 첫 사례