평가자 안내 추론은 매 단계마다 현재 답을 믿을지, 대체안을 반환할지, 추가 추론을 쓸지 결정해야 하는 국소적 제어 문제를 안고 있다. 연구팀은 이를 계산 비용을 명시적으로 반영한 3가지 행동(종결·대체·확장)의 컨트롤러로 공식화하고, 종결 행동은 예측된 답 성공률로, 확장 행동은 롤아웃 기반 연속-성공 대리 지표로 점수화했다. 국소 행동 격차 분석으로 점수 오차가 결정을 바꿀 수 있는 조건을 규명하고, 실현된 확장 경로를 따라 오차를 반영하는 기대 후회 경계도 제시했다. 폭 확장·수정 과제에서 이 컨트롤러는 보정된 고정 정책보다 효용을 높이면서 정규화된 온라인 계산량을 각각 약 30%, 16% 줄였으며, 4개의 Qwen3-8B 시드에서 계산량은 적합된 Q러닝보다 낮고 효용 차이는 작고 혼재된 결과를 보였다.
- •평가자 안내 추론의 매 단계 결정(종결·대체·확장)을 계산 비용 반영 3행동 컨트롤러로 공식화
- •국소 행동 격차 분석과 기대 후회 경계로 점수 오차가 결정을 바꾸는 조건 규명
- •폭 확장·수정 과제에서 고정 정책 대비 효용 향상하며 온라인 계산량 약 30%·16% 절감
- •평가자 안내 추론을 '더 강한 추론기'가 아니라 불확실성 하의 자원 배분 문제로 재구성
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning
- 1.평가자 기반 추론의 '신뢰·반환·추가연산' 선택을 압축인지 비용까지 고려한 3가지 행동 컨트롤러로 공식화
- 2.롤아웃 기반 지속성공 서러게이트와 보상 분석으로 언제 확장이 필요한지 결정하는 신뢰도 추정 학습
- 3.폭 확장·수정 과제에서 고정 정책 대비 효용은 높이고 정규화 연산량은 각각 약 30%, 16% 절감
- 4.Qwen3-8B 4개 시드 실험에서 피팅된 Q러닝보다 연산량은 낮고 효용 차이는 근소
왜 중요한가?
테스트 타임 추론 확장을 '더 강한 추론기'가 아니라 '불확실성 하의 자원배분' 문제로 재정의해, 추론 비용을 줄이면서도 성능을 유지하는 실용적 접근을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.20836v1 Announce Type: new Abstract: Evaluator-guided reasoning presents a local control problem at every step: trust the current answer, return a fallback, or spend more inference. We formulate this choice as a compute-aware three-action controller, scoring terminal actions by predicted answer success and expansion by a rollout-based continuation-success surrogate, with compute cost priced explicitly. A local action-gap analysis characterizes when score errors can change a decision,
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안