CODI, COCONUT 같은 잠재 추론(latent CoT) 기법은 명시적 CoT와 달리 은닉 공간에 여러 후보 추론 경로를 중첩 유지해 해석이 어렵다는 문제를, 잠재 토큰 시퀀스를 표현 공간의 궤적으로 보고 동역학계 분석을 적용해 풀었다. 스텝 간 변화량, 방향 일관성, 랴푸노프 민감도 같은 정량 지표와 UMAP, DMD/PHATE 같은 정성적 투영을 함께 사용해 잠재 CoT가 무작위가 아닌 구조화된 동역학을 보이며 두 가지 안정성 클래스로 나뉨을 밝혔다. CODI는 안정적 끌개(attractor)처럼, COCONUT은 불안정하게 팽창하는 시스템처럼 거동하고, SIM-CoT 지도학습은 기저 동역학을 바꾸지 않으면서 두 거동을 조여준다. 이 프레임워크는 잠재 추론의 해석 가능성을 높이고 성능 개선을 위한 실행 가능한 통찰을 제공한다.
- •잠재 토큰 시퀀스를 표현 공간 궤적으로 모델링해 동역학계 분석을 적용한 최초의 해석 프레임워크 제시
- •스텝 간 변화·방향 일관성·량푸노프 민감도 등 정량 지표와 UMAP·DMD/PHATE 정성 투영 병행
- •CODI는 안정적 끌개, COCONUT은 불안정 팽창 시스템으로 거동 — 두 가지 안정성 클래스 식별
- •SIM-CoT 지도는 기저 동역학을 바꾸지 않으면서 두 거동을 모두 안정화
Interpreting Latent CoT Reasoning as Dynamical Systems
본문 미리보기
arXiv:2607.09698v1 Announce Type: new Abstract: Recent latent reasoning methods, such as CODI and COCONUT, face a fundamental interpretability problem: they maintain multiple superimposed candidate traces in the hidden space at each step, unlike explicit- CoT, which follows a single transparent reasoning trace. Existing mechanistic methods show compression, shortcuts, and superposition without explaining how reasoning evolves across latent steps. To address this gap, we model latent token seque
전체 내용이 궁금하다면?
원문을 직접 읽어보세요