KV-PRM은 프로세스 보상 모델(PRM)이 전체 궤적 텍스트를 처음부터 재인코딩하는 대신 LLM 생성 과정에서 자연히 만들어지는 KV 캐시를 직접 읽어 채점하는 고효율 보상 모델이다. 단일 '검증 토큰'을 기존 KV 캐시에 대해 처리해 채점 비용을 O(L²)에서 O(L)로 낮췄으며, KV 캐시가 텍스트보다 엄밀히 더 많은 정보를 담는다는 것도 형식적으로 증명했다. MATH·GSM8K·AIME 벤치마크에서 Beam Search, MCTS, Weighted Voting 등 테스트 시간 스케일링 기법과 결합했을 때 텍스트 PRM과 대등하거나 더 나은 성능을 보였고, 채점 FLOPs 최대 5,000배, 지연시간 37배, 시퀀스당 메모리 34배 절감을 달성했다. 긴 멀티 에이전트 롤아웃에서 PRM 병목을 해소하는 실용적 돌파구다.

• •텍스트 재인코딩 없이 생성 시 만들어진 KV 캐시를 직접 읽어 채점하는 방식
• •채점 복잡도를 O(L²)에서 O(L)로 감소, KV 캐시가 텍스트보다 정보량이 크다는 점도 증명
• •MATH·GSM8K·AIME에서 텍스트 PRM과 대등하거나 우수한 성능
• •채점 FLOPs 최대 5,000배, 지연시간 37배, 메모리 34배 절감