'검증이 생성보다 쉽다'는 고전적 직관이 코딩 에이전트에서 역전되고 있다는 진단을 내놓은 논문이다. 파운데이션 모델의 추론력과 엔지니어링 하네스가 강해지면서 복잡한 후보 해 생성은 쉬워졌지만, 모든 검증기는 인간 의도의 대리물(proxy)일 뿐이어서 신뢰할 수 있는 검증이 더 어려운 문제가 됐다. 저자들은 검증 신호의 품질을 확장성·충실성·강건성 세 차원으로 규정하고 셋의 동시 달성이 핵심 난제라 주장하며, 일반 코딩용 테스트 검증기, 프론트엔드용 루브릭 검증기, 실사용 에이전트 과제의 사용자 검증, 장기 과제용 자동 에이전트 검증기의 네 가지 보상 구성을 실험 분석했다. 표적화된 검증 설계가 보상 해킹을 억제하고 과제 완성 품질을 높였지만, 결론은 분명하다: 정책 능력이 계속 성장하는 한 고정된 보상 함수는 유효할 수 없으며, 검증은 생성기와 공진화해야 한다.

• •모델 능력 향상으로 '생성보다 검증이 쉽다'는 직관이 코딩 에이전트에서 역전되고 있다는 진단
• •검증기는 인간 의도의 대리물일 뿐이며 최적화가 대리물-의도 간극을 벌려 보상 해킹·신호 포화로 발현
• •검증 신호 품질을 확장성·충실성·강건성 3차원으로 규정, 동시 달성이 핵심 난제
• •테스트·루브릭·사용자·자동 에이전트의 4가지 검증기 구성을 과제 유형별로 심층 분석
• •결론: 고정 보상 함수는 지속 불가능, 검증은 생성기와 공진화해야 함 (Qwen 팀 등 공동 연구)