One-Step Text Generation by Seq-Drifting

출처:arXiv cs.AI

AI 인사이트

개발자

1.확산언어모델의 다단계 샘플링을 단일 순전파로 대체하는 'Seq-Drifting' 프레임워크 제안
2.가우시안 노이즈→텍스트 직접 매핑하는 드리프트 필드 학습, 목표가 생성 맥락에 적응
3.LM1B에서 단 1스텝으로 생성 퍼플렉시티 36.01 달성, 번역·요약·추론서도 경쟁력 있는 성능
4.끌림·반발 메커니즘으로 샘플 붕괴와 문장 내 반복을 동시에 억제

왜 중요한가?

여러 스텝을 거치던 확산 기반 텍스트 생성을 한 번의 순전파로 압축하면서도 품질을 유지했다는 점에서, 생성 속도가 핵심 제약인 실시간 응용에 확산언어모델을 적용할 수 있는 실용적 가능성을 보여준다.

언급 프로젝트

Seq-Drifting LM1B

본문 미리보기

arXiv:2610.12879v1 Announce Type: new Abstract: Diffusion language models generate tokens in parallel, but still require multiple sampling steps to produce high-quality text. In this paper, we investigate whether a model can learn to generate an entire sequence in a single forward pass. We propose Seq-Drifting, a framework that applies drifting to sequences of continuous token representations and directly learns a map from Gaussian noise to text. Unlike existing DLMs that derive the supervision

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기

#디퓨전언어모델#텍스트생성