확산 언어모델(DLM)은 여러 토큰을 병렬로 갱신하지만, 실제 디코더는 고정된 디노이징 지평선을 사용해 예측이 일찍 안정돼도 모든 위치가 해소될 때까지 블록 단위 디코딩을 계속해 밀집 순전파를 반복하게 만든다. 연구진은 신뢰도와 지속성 게이팅만으로 아직 해소되지 않은 위치를 선별하는 훈련이 필요 없는 방법 CORA-Diff를 제안하며, 원래의 전이 규칙을 그대로 유지한 채 백본 변경이나 학습된 수용 모델, 로짓 수정 없이 작동한다. GSM8K 보정 부분집합에서 하나의 작동점을 선택해 모든 평가에 고정했고, Learn2PD 스타일 LLaDA 프로토콜에서 8개 과제-길이 설정 전부에서 가장 빠른 실측 실행시간을 기록했다. 과제 점수는 5개 설정에서 밀집 디코딩과 같거나 이를 상회했고 가장 큰 하락 폭도 1.22점에 불과했으며, EOS 인지 밀집 디코딩 대비 GSM8K에서 2.70배, HumanEval에서 3.32배의 속도 향상을 보였다.
- •신뢰도·지속성 게이팅만으로 잔여 위치를 선별하는 훈련불필요 방법, 백본·로짓 수정 없이 작동
- •8개 과제-길이 설정 전부에서 가장 빠른 실측 실행시간 기록, 성능 저하는 최대 1.22점
- •EOS 인지 밀집 디코딩 대비 GSM8K 2.70배, HumanEval 3.32배 속도 향상
- •고정 지평선 프로토콜에서 최대 13.14배, Dream 모델로 재조정 없이 전이 시 3.18~3.53배 향상
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference
본문 미리보기
arXiv:2608.11235v1 Announce Type: new Abstract: Diffusion language models (DLMs) update many tokens in parallel, yet practical decoders often use a fixed denoising horizon. Many predictions stabilize early, but blockwise decoding continues until all positions are resolved, causing repeated dense forward passes. Existing accelerators often rely on learned filters, modified scores, dependency models, or cache-specific mechanisms. We ask whether native trajectory signals can identify residual posi
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:21AI 초안

