잠재 공간에서 추론하는 CoCoNuT 방식이 추론 깊이가 깊어질수록 앞 단계에서 계산한 핵심 사실을 덮어써 잃는 '개념 병목(concept bottleneck)' 문제를 지적하고 이를 해결하는 AGCLR을 제안한다. 실제로 HotpotQA에서 CoCoNuT(EM 10.4%)는 CoT 베이스라인(11.0%)을 넘지 못했고 GSM8K에서는 커리큘럼 깊이가 커질수록 성능이 저하됐다. AGCLR은 모든 추론 패스에 걸쳐 유지되는 잔차 메모리 'Gated Concept Stream'을 더하고, 사실을 기록하는 write·관련 상태를 불러오는 read·불필요 맥락을 버리는 forget의 세 학습형 게이트로 제어한다. GPT-2 기반으로 GSM8K·HotpotQA·ProsQA에서 일관된 향상을 보였고, 깊이가 깊어질수록 성능 격차가 커져 병목을 직접 해소했다.
- •잠재 추론(CoCoNuT)이 직면한 '개념 병목' — 깊이가 느는 수록 앞 단계 사실을 덮어써 잃는 문제 식별
- •HotpotQA에서 CoCoNuT(EM 10.4%)가 CoT(11.0%)를 못 넘고 GSM8K에서 깊이가 커질수록 성능 저하
- •write·read·forget 세 학습형 게이트로 제어되는 지속 잔차 메모리 'Gated Concept Stream' 도입
- •GPT-2 기반 GSM8K·HotpotQA·ProsQA에서 일관된 향상, 깊이가 깊을수록 격차 확대
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning
- 1.연속 잠재 추론(CoCoNuT)이 추론 깊이가 깊어질수록 이전 사실을 잃는 '개념 병목'을 규명
- 2.바닐라 CoCoNuT는 HotpotQA서 10.4% EM으로 CoT(11.0%)를 못 넘고 GSM8K서 깊이 따라 성능 저하
- 3.쓰기·읽기·망각 게이트로 잔차 메모리를 유지하는 AGCLR(게이트 개념 스트림) 제안
- 4.GPT-2 기반 GSM8K·HotpotQA·ProsQA서 일관된 향상, 깊이가 깊을수록 격차 확대
왜 중요한가?
잠재 공간 추론이 깊은 단계에서 정보를 잃는 근본 한계를 게이트형 영속 메모리로 직접 해결했다는 점에서, 다단계 추론 모델의 정확도를 깊이에 따라 끌어올리는 구조적 개선이다.
LLM의 내부 작동 방식을 깊이 탐구하며 지속적인 잠재 추론을 위한 메모리 구조를 제안하는 이 연구는 한국의 LLM 연구자 및 개발자들에게 핵심적인 의미를 가집니다. 더 효율적이고 강력한 추론 능력을 가진 차세대 LLM 개발을 목표로 하는 국내 기술 경쟁력 강화에 기여할 수 있는 아키텍처 혁신입니다.
본문 미리보기
arXiv:2606.07720v1 Announce Type: new Abstract: Large language models (LLMs) have demonstrated remarkable reasoning abilities on mathematical and multi-hop planning tasks. The CoCoNuT (Chain of Continuous Thought) paradigm~\cite{hao2024coconut} extends this by enabling models to reason in latent space, exploring multiple reasoning paths simultaneously rather than committing to a single chain early on. However, we identify a limitation we term the \textbf{concept bottleneck}. At each reasoning p
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
