자기회귀(AR) 모델의 지역적 탐욕성과 확산 언어모델(DLM)의 인과 구조 부족이라는 각각의 한계를 극복하기 위해, 추론을 제약된 잠재 공간 최적화로 재구성한 프레임워크 CaLR(Causal Latent Revision)이 제안됐다. CaLR은 전문가 모델에서 얻은 인과 위상 행렬(CTM)과 암묵적 미분을 이용해 그래디언트 기반 '사고 수정'을 수행함으로써, 병렬 생성 중 중간 단계의 논리적 일관성을 강제하고 동적 자기 수정을 가능케 한다. 실험 결과 CaLR은 복잡한 벤치마크에서 최신 DLM 성능을 달성해 강력한 AR 기준선을 능가했으며, 스도쿠 같은 제약 조건 과제에서 특히 뛰어난 견고성을 보였다.
- •AR 모델의 지역적 탐욕성과 DLM의 인과 구조 부족을 동시에 보완하는 CaLR 프레임워크
- •인과 위상 행렬(CTM)과 암묵적 미분으로 그래디언트 기반 '사고 수정' 수행
- •병렬 생성 중 중간 단계의 논리적 일관성을 강제해 동적 자기 수정 가능
- •복잡한 벤치마크에서 SOTA DLM 성능 달성, AR 기준선 능가
- •스도쿠 등 제약 조건 과제에서 뛰어난 견고성 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
CaLR: Causal Latent Revision for Robust Diffusion Reasoning
- 1.CaLR, 추론을 제약된 잠재공간 최적화로 재정의하는 '인과적 잠재수정' 프레임워크 제안
- 2.전문가모델의 인과위상행렬(CTM)과 암묵적 미분을 활용해 그래디언트 기반으로 '사고 수정'을 수행
- 3.병렬 생성 중간단계에서도 논리적 일관성을 강제하는 동적 자기수정 가능
- 4.복잡한 벤치마크에서 확산언어모델(DLM) 최고성능 달성, 스도쿠 등 제약과제에서 강력한 자기회귀 기준선보다 우수한 견고성 입증
왜 중요한가?
자기회귀 모델의 지역적 탐욕성과 확산언어모델의 인과구조 부재라는 상반된 약점을 동시에 보완해, 확산 기반 언어모델이 복잡한 추론 과제에서도 최고 수준 성능을 낼 수 있는 구체적 경로를 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2609.20981v1 Announce Type: new Abstract: Autoregressive (AR) models suffer from local greediness, while diffusion language models (DLMs) often lack the strict causal structure required for reasoning. To combine the advantages and overcome the drawbacks of the dual, we propose Causal Latent Revision (CaLR), a framework that reformulates reasoning as constrained latent optimization. By adopting a causal topology matrix (CTM) from an expert model and implicit differentiation, CaLR performs
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

