BV-Blend는 검증 가능한 보상 기반 크리틱-프리 강화학습(RLVR)의 어드밴티지 추정 불안정성을 완화하는 프레임워크다. GRPO 같은 방식은 가치함수를 훈련하지 않아 메모리·연산을 아끼지만, 프롬프트 그룹 내 보상 통계에 의존해 한 그룹의 모든 롤아웃이 동일 보상을 받으면 그룹 내 분산이 0이 되고 어드밴티지도 0이 돼, 이진 검증기의 콜드스타트 학습이 막힌다. BV-Blend는 프롬프트-로컬 온-폴리시 통계와 의미 클러스터별 과거 모멘트를 결합해 이를 안정화한다. 클러스터마다 EMA로 보상 모멘트를 추적하고, 평균의 표준오차(SEM) 프록시에서 신뢰 가중치를 도출해 과거와 로컬 베이스라인·분산 통계를 혼합, PPO식 클리핑 업데이트용 표준화 어드밴티지를 만든다. 검증 가능한 추론 벤치마크 실험에서 훈련 안정성과 성능이 개선됐고, 그룹 정규화 방식이 정체되는 구간에서도 견고했다.

• •GRPO의 그룹 내 분산 0 문제(동일 보상 시 어드밴티지 0)로 인한 콜드스타트 학습 정체 해결
• •프롬프트-로컬 통계와 의미 클러스터별 과거 모멘트를 결합해 어드밴티지 추정 안정화
• •클러스터별 EMA 보상 모멘트 + SEM 기반 신뢰 가중치로 과거·로컬 통계 혼합
• •검증 가능 추론 벤치마크에서 훈련 안정성·성능 개선, 그룹 정규화 정체 구간에서도 견고