확산 언어모델(DLM)은 다음 토큰 예측 대신 반복적 디노이징으로 텍스트를 생성해 전체 시퀀스를 병렬로 정제하는 대안 패러다임으로, 본 연구는 최신 DLM 8종을 추론·코딩·번역·지식·구조적 문제해결을 아우르는 8개 벤치마크에서 체계적으로 비교 분석했다. 생성 품질뿐 아니라 계산 효율을 함께 고려하고, 디노이징 스텝 수·문맥 길이·블록 크기·병렬 언마스킹 전략 등 추론 시점 요인의 영향을 분석했으며 동일 조건으로 학습한 소형 모델의 통제 비교로 보완했다. 분석 결과 DLM의 동작은 생성 시점 설계 선택에 크게 좌우되어 성능과 계산 효율 사이에 뚜렷한 트레이드오프가 나타났다. 이는 자기회귀 모델의 대안으로 떠오른 DLM의 실제 배포 특성과 한계를 이해하는 실용적 통찰을 제공한다.
- •최신 확산 언어모델 8종을 추론·코딩·번역·지식 등 8개 벤치마크에서 체계 비교
- •디노이징 스텝·문맥 길이·블록 크기·병렬 언마스킹 등 추론 시점 요인의 영향 분석
- •DLM 동작이 생성 시점 설계 선택에 크게 좌우되어 성능 대 계산효율 트레이드오프 발생
- •대규모 실험을 동일 조건 소형 모델의 통제 비교로 보완해 배포 특성과 한계를 규명
Diffusion Language Models: An Experimental Analysis
본문 미리보기
arXiv:2606.19475v1 Announce Type: new Abstract: Large Language Models (LLMs) have revolutionized language modeling through autoregressive generation, enabling strong performance across a wide range of tasks. Recently, Diffusion Language Models (DLMs) have emerged as an alternative paradigm that generates text through iterative denoising rather than next-token prediction, allowing parallel refinement of entire sequences. While numerous diffusion-based architectures have been proposed, difference
전체 내용이 궁금하다면?
원문을 직접 읽어보세요