0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs (원문, 새 창)
한국어 요약
Claude · 2026-10-25대형 언어모델이 쉬운 문제는 과도하게, 어려운 문제는 불충분하게 추론하는 문제를 해결하기 위해 연구진은 입력마다 필요한 추론의 시점과 양을 적응적으로 결정하는 계층적 프레임워크 'Route-and-Generate(Rouge)'를 제안한다. 라우팅 정책이 고정 샘플링 예산을 여러 추론 형식에 배분해 추론 노력 할당과 답변 생성을 분리하고, 기반 모델은 샘플별 보상을 이용한 GRPO로 최적화된다. 짧고 정확한 해법을 선호하는 순위 기반 보상과 폐쇄형 KL-정규화 정책 개선을 신경망 라우터로 증류하는 방식을 결합했다. 이 설계는 여러 추론 벤치마크에서 정확도-효율성 트레이드오프를 개선했다.
- 입력별로 추론의 시점과 양을 적응적으로 결정하는 계층적 프레임워크 Route-and-Generate(Rouge) 제안
- 라우팅 정책이 고정 샘플링 예산을 여러 추론 형식에 배분해 추론 노력과 답변 생성을 분리
- 짧고 정확한 해법을 선호하는 순위 기반 보상으로 효율적 추론 유도
- 폐쇄형 KL-정규화 정책 개선 단계를 신경망 라우터로 증류하는 방식 사용
- 여러 추론 벤치마크에서 정확도-효율성 트레이드오프 개선을 확인
AI 인사이트
- LLM이 쉬운 문제에 과도히, 어려운 문제에 부족히 추론하는 문제를 해결하는 Route-and-Generate(Rouge)를 제안
- 라우팅 정책이 고정된 샘플링 예산을 여러 추론 형식에 배분하고, 기본 모델은 GRPO로 샘플별 보상을 받아 최적화
- 짧고 정확한 답을 우대하는 순위 기반 보상을 사용하고, KL 정규화 정책 개선 단계를 신경망 라우터로 증류
- 여러 추론 벤치마크에서 쉬운 문제는 짧게, 어려운 문제는 길게 추론하도록 유도해 정확도-효율 트레이드오프를 개선
왜 중요한가
추론형 LLM의 토큰 낭비는 비용과 직결되는 문제인데, 추론 노력 배분을 생성과 분리해 학습하는 접근은 모델이 난이도에 맞춰 스스로 추론량을 조절하게 해 추론 비용 최적화에 실질적으로 적용 가능한 기법이다.
본문 미리보기
arXiv:2610.30351v1 Announce Type: new Abstract: Large language models often apply complex reasoning indiscriminately, leading to overthinking on simple tasks and underthinking on harder ones. We present Route-and-Generate (Rouge), a hierarchical training framework that enables LLMs to adaptively decide when and how much reasoning is required for each input. Our approach decouples reasoning effort allocation from answer generation by introducing a routing policy that allocates a fixed sampling b
전체 내용이 궁금하다면?
arXiv cs.AI에서 원문을 직접 읽어보세요
- #LLM 추론
- #라우팅
- #KL 정규화
- #추론효율화
- #AI 연구
이 글이 만들어진 과정
- 10:47AI 초안