DC-Leap은 디퓨전 LLM(dLLM)의 병렬 디코딩을 학습 없이 가속하는 프레임워크다. 기존 병렬 디코딩은 결합 확률 의존성 오류(JPDE) 탓에 보수적인 신뢰도 임계값을 쓸 수밖에 없어 불필요한 디노이징 반복이 발생했는데, DC-Leap은 엄격한 순서의 인과 제약을 통합한 동적 연속 검증(Dynamic Contiguous Verification)으로 토큰 의존성을 점진 검증해 JPDE를 무력화한다. 여기에 드래프트가 여러 토큰을 앞질러 문맥을 확장하는 드래프트 유도 디코딩으로 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에서 MBPP 장문 생성 기준 최대 53.19배, KV 캐시 결합 시 최대 105.02배 속도 향상을 생성 품질 저하 없이 달성했다. dLLM의 실용 배포를 가로막던 추론 속도 문제를 크게 완화하는 결과이며 코드도 공개됐다.
- •dLLM 병렬 디코딩의 병목인 결합 확률 의존성 오류(JPDE)를 학습 없이 해결
- •인과 순서 제약을 통합한 동적 연속 검증으로 중간 신뢰도 구간에서도 안정적 가속
- •드래프트 유도 디코딩으로 룩어헤드 문맥 확보, 양방향 어텐션 이점 유지
- •MBPP 장문 생성 최대 53.19배, KV 캐시 결합 시 최대 105.02배 가속—품질 유지, 코드 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding
- 1.DC-Leap 공개: 확산 LLM(dLLM) 병렬 디코딩을 학습 없이 가속하는 프레임워크
- 2.동적 연속 검증으로 결합확률 의존 오류(JPDE)를 무력화, 중간 신뢰도 구간에서도 안정적 가속
- 3.드래프트 유도 디코딩으로 여러 토큰을 건너뛰며 양방향 어텐션의 구조적 이점 유지
- 4.MBPP 장문 생성에서 최대 53.19배, KV 캐시 결합 시 최대 105.02배 가속에 품질 유지
왜 중요한가?
dLLM의 병렬 디코딩이 보수적 신뢰도 임계값 때문에 속도 이점을 살리지 못하던 핵심 병목을 학습 없이 해소한 것으로, 확산 기반 LLM이 자기회귀 모델 대비 추론 속도 경쟁력을 입증하는 데 중요한 진전이다.
확산 거대 언어 모델(dLLM)의 디코딩 가속화를 훈련 없이 달성하는 DC-Leap 기술은 국내 AI 인프라 비용 절감에 중요한 기여를 할 수 있습니다. 기존 병렬 디코딩의 제약을 넘어 효율성을 극대화함으로써, 국내 기업들이 보다 경제적으로 고성능 LLM을 운영할 수 있는 길을 열어줄 것입니다.
본문 미리보기
arXiv:2607.20467v1 Announce Type: new Abstract: While parallel decoding is central to the efficiency of Diffusion Large Language Models (dLLMs), current strategies are often hindered by overly conservative confidence thresholds. These thresholds, necessitated by the Joint Probability Dependence Error (JPDE), result in redundant denoising iterations and suboptimal inference speeds. To overcome this, we propose DC-Leap, a training-free framework that enables reliable acceleration of dLLMs in the
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

