MUX는 자연어 추론 토큰들을 잠재 공간의 연속 '다중화(multiplexed) 토큰'으로 증류해, 토큰 하나에 여러 추론 서브워드를 무손실 중첩으로 담는 고대역폭 추론 기법이다. 기하 감쇠 같은 위치 의존 가중치가 무손실 다중화를 보장해 잠재 붕괴로 인한 지름길 학습을 막는다는 점을 이론적으로 증명했고, 탐색이 필요한 문제에서 병렬 탐색도 가능함을 보였다. 4개 언어모델·32개 평가 설정에서 기존 잠재 추론(latent reasoning) 기법들을 능가했으며, 학습된 잠재 토큰이 해석 가능한 추론을 담고 있음을 프로빙으로 확인했다. 체인오브소트의 토큰 비용을 줄이면서 성능을 유지하려는 효율적 추론 연구에 실용적 방향을 제시한다.

• •추론 서브워드 구간을 가중 선형 중첩으로 압축한 연속 잠재 토큰 'MUX' 제안, 중첩은 무손실로 복원(demultiplexing) 가능
• •기하 감쇠 등 위치 의존 가중치가 무손실 다중화를 보장해 잠재 붕괴로 인한 지름길 행동을 방지함을 증명
• •4개 언어모델, 32개 평가 설정에서 기존 잠재 추론 베이스라인 대비 우수한 성능
• •다중화된 추론이 탐색 문제에서 병렬 탐색을 수행할 수 있음을 확인
• •프로빙 분석 결과 잠재 토큰이 충실하고 해석 가능한 추론 정보를 인코딩