검증기 기반 후보 선택 방식은 여러 후보 해를 생성한 뒤 검증기로 가장 유망한 것을 고르지만, 검증 피드백을 순위 매기기에만 쓰고 고정된 후보 풀 자체는 개선하지 않는다는 한계가 있다. 이 논문은 검증 피드백으로 후보 집합 자체를 개선할 수 있는지를 묻고, 'Verify-Repair-Reselect(VRR)' 기법을 제안한다. VRR은 기존 1위 후보를 유지하면서 조건부로 1위·2위 후보의 수정본과 새로운 접근법 기반의 대안까지 세 가지 보완 후보를 추가 생성하고, 추론 시점 정보만으로 무효·중복 후보를 걸러낸 뒤 원래 평가 기준으로 최종 답을 재선택한다. 다양한 모델과 코드생성·추론 벤치마크 실험에서 VRR은 고정 풀 기반 검증 선택보다 우수한 성능을 보였으며, 초기 후보가 모두 틀린 경우에도 정답을 복구해낸 사례가 있었다. 이는 검증 피드백이 기존 해 중 선택하는 역할을 넘어 초기 풀보다 더 나은 후보를 직접 구성하는 데도 쓰일 수 있음을 보여준다.
- •검증 피드백을 순위 매기기에만 쓰지 않고 후보 집합 자체를 개선하는 'LLM-as-an-Improver' 개념 제안
- •Verify-Repair-Reselect(VRR): 1위 유지하며 수정본 2개+신규 접근 대안 1개를 추가 생성 후 재선택
- •코드생성·추론 벤치마크에서 고정 풀 기반 검증 선택보다 우수, 초기 후보 전원 오답 시에도 정답 복원 사례 확인
- •검증 피드백이 기존 후보 선택을 넘어 더 나은 새 후보를 직접 만드는 역할도 할 수 있음을 시사
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
LLM-as-an-Improver: Turning Verification into Better Candidates
- 1.검증 피드백으로 후보 자체를 개선하는 'VRR(Verify-Repair-Reselect)' 기법 제안
- 2.기존 1위 후보 유지하며 1·2위 수정본과 새 접근법 기반 대안 추가 생성 후 재선발
- 3.코드생성·추론 벤치마크 전반서 고정 후보풀 기반 검증-선택 방식보다 성능 우위
- 4.초기 후보 전부 오답이어도 검증 피드백만으로 정답 복구해내는 사례 확인
왜 중요한가?
기존 검증 단계는 후보 중 고르기만 했다면, VRR은 검증 피드백을 후보 개선에 재투입해 '전부 오답'인 최악 상황에서도 정답을 만들어낼 수 있음을 보여줘 검증기(verifier)의 역할을 재정의한다.
언급 프로젝트
본문 미리보기
arXiv:2609.19515v1 Announce Type: new Abstract: Verifier-based selection improves LLM performance by generating multiple candidate solutions and using a verifier to select the most promising one. However, existing methods typically treat verification only as a ranking step and discard its feedback once a fixed candidate pool has been evaluated. In this paper, we ask whether verification can also improve the candidate set itself. To this end, we introduce LLM-as-an-Improver and propose Verify--R
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

