MUX는 자연어 추론 토큰들을 잠재 공간의 연속 '다중화(multiplexed) 토큰'으로 증류해, 토큰 하나에 여러 추론 서브워드를 무손실 중첩으로 담는 고대역폭 추론 기법이다. 기하 감쇠 같은 위치 의존 가중치가 무손실 다중화를 보장해 잠재 붕괴로 인한 지름길 학습을 막는다는 점을 이론적으로 증명했고, 탐색이 필요한 문제에서 병렬 탐색도 가능함을 보였다. 4개 언어모델·32개 평가 설정에서 기존 잠재 추론(latent reasoning) 기법들을 능가했으며, 학습된 잠재 토큰이 해석 가능한 추론을 담고 있음을 프로빙으로 확인했다. 체인오브소트의 토큰 비용을 줄이면서 성능을 유지하려는 효율적 추론 연구에 실용적 방향을 제시한다.
- •추론 서브워드 구간을 가중 선형 중첩으로 압축한 연속 잠재 토큰 'MUX' 제안, 중첩은 무손실로 복원(demultiplexing) 가능
- •기하 감쇠 등 위치 의존 가중치가 무손실 다중화를 보장해 잠재 붕괴로 인한 지름길 행동을 방지함을 증명
- •4개 언어모델, 32개 평가 설정에서 기존 잠재 추론 베이스라인 대비 우수한 성능
- •다중화된 추론이 탐색 문제에서 병렬 탐색을 수행할 수 있음을 확인
- •프로빙 분석 결과 잠재 토큰이 충실하고 해석 가능한 추론 정보를 인코딩
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MUX: Continuous Reasoning via Multiplexed Tokens
- 1.MUX 제안: 이산 추론 토큰을 손실 없는 선형 중첩으로 압축한 연속 잠재 토큰 추론 기법
- 2.기하 감쇠 등 위치별 가중치로 무손실 다중화를 증명, 잠재 붕괴발 지름길 행동 방지
- 3.언어모델 4종·32개 평가 설정에서 기존 잠재 추론 베이스라인 능가, 병렬 탐색도 지원
- 4.프로빙 분석에서 잠재 토큰이 충실하고 해석 가능한 추론을 인코딩함을 확인
왜 중요한가?
체인오브소트가 토큰당 한 subword만 전달하는 연산 병목을 다중화로 완화한 접근으로, 추론 비용 절감이 필요한 LLM 서빙과 잠재 추론(latent reasoning) 연구에 '무손실 중첩'이라는 구체적 학습 목표를 제시했다.
언급 프로젝트
이 논문은 대규모 언어 모델(LLM)의 추론 과정에서 발생하는 계산 효율성 병목 현상을 해결하려는 중요한 시도를 다룹니다. 한국의 많은 기업들이 LLM 개발 및 서비스에 막대한 자원을 투자하고 있는 만큼, 이러한 효율성 개선 기술은 LLM 운영 비용 절감과 서비스 고도화에 직접적인 영향을 미칠 것입니다. 이는 복잡한 추론이 필수적인 국내 금융, 법률, 의료 등의 산업 분야에서 LLM의 실용적 활용을 가속화할 잠재력을 가집니다.
본문 미리보기
arXiv:2607.18264v1 Announce Type: new Abstract: Language models solve complex problems by articulating intermediate reasoning steps in natural language. While effective, this process is computationally bottlenecked: each reasoning step conveys only a single subword, and many are spent expressing a thought instead of carrying out computation. We propose MUX, a simple method for high-bandwidth and compact reasoning based on distillation of discrete reasoning into continuous multiplexed tokens in
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
