CODI, COCONUT 같은 잠재 추론(latent CoT) 기법은 명시적 CoT와 달리 은닉 공간에 여러 후보 추론 경로를 중첩 유지해 해석이 어렵다는 문제를, 잠재 토큰 시퀀스를 표현 공간의 궤적으로 보고 동역학계 분석을 적용해 풀었다. 스텝 간 변화량, 방향 일관성, 랴푸노프 민감도 같은 정량 지표와 UMAP, DMD/PHATE 같은 정성적 투영을 함께 사용해 잠재 CoT가 무작위가 아닌 구조화된 동역학을 보이며 두 가지 안정성 클래스로 나뉨을 밝혔다. CODI는 안정적 끌개(attractor)처럼, COCONUT은 불안정하게 팽창하는 시스템처럼 거동하고, SIM-CoT 지도학습은 기저 동역학을 바꾸지 않으면서 두 거동을 조여준다. 이 프레임워크는 잠재 추론의 해석 가능성을 높이고 성능 개선을 위한 실행 가능한 통찰을 제공한다.
- •잠재 토큰 시퀀스를 표현 공간 궤적으로 모델링해 동역학계 분석을 적용한 최초의 해석 프레임워크 제시
- •스텝 간 변화·방향 일관성·량푸노프 민감도 등 정량 지표와 UMAP·DMD/PHATE 정성 투영 병행
- •CODI는 안정적 끌개, COCONUT은 불안정 팽창 시스템으로 거동 — 두 가지 안정성 클래스 식별
- •SIM-CoT 지도는 기저 동역학을 바꾸지 않으면서 두 거동을 모두 안정화
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Interpreting Latent CoT Reasoning as Dynamical Systems
- 1.잠재 추론(latent CoT)을 표현공간 궤적으로 보고 동역학계 분석을 적용한 해석 프레임워크 제안
- 2.스텝간 변화·방향 일관성·Lyapunov 민감도와 UMAP·DMD/PHATE 투영으로 구조적 비무작위 동역학 확인
- 3.CODI는 안정 끌개(attractor), COCONUT은 불안정 확장계로 동작 — 두 안정성 부류 식별
- 4.SIM-CoT 감독은 두 동작을 조이되 근본 동역학은 바꾸지 않음, 코드 공개
왜 중요한가?
명시적 CoT와 달리 블랙박스였던 잠재 추론의 진화 과정을 동역학계 도구로 정량 분석할 수 있음을 보인 작업이다. 잠재 추론 방식 선택(안정형 vs 확장형)과 성능 개선 개입 지점에 대한 실행 가능한 해석 기준을 제공한다.
잠재적 CoT(Chain-of-Thought) 추론의 해석 가능성에 대한 이 연구는 한국의 설명 가능한 AI(XAI) 및 AI 윤리 규제 논의에 중요한 통찰을 제공합니다. AI 시스템의 의사결정 과정을 투명하게 이해하는 것은 국내에서 신뢰할 수 있고 책임감 있는 AI를 개발하고 도입하는 데 필수적이며, 특히 의료, 금융 등 고위험 분야에서 그 중요성이 더욱 강조됩니다.
본문 미리보기
arXiv:2607.09698v1 Announce Type: new Abstract: Recent latent reasoning methods, such as CODI and COCONUT, face a fundamental interpretability problem: they maintain multiple superimposed candidate traces in the hidden space at each step, unlike explicit- CoT, which follows a single transparent reasoning trace. Existing mechanistic methods show compression, shortcuts, and superposition without explaining how reasoning evolves across latent steps. To address this gap, we model latent token seque
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
