보상 유도 이산 디퓨전에서 모든 디노이징 단계마다 시퀀셜 몬테카를로(SMC) 가이던스를 적용하면 비용이 크지만, 기존 희소 가이던스 일정은 고정된 휴리스틱이라 작업마다 효과가 들쑥날쑥했다. 연구팀은 학습이 필요 없는 VISTA를 제안해 고정된 예산 안에서 어떤 타임스텝을 가이드할지 자동으로 선택하도록 했다. 소수의 전체 가이던스 워밍업 생성에서 얻은 값 통계를 이용해 경로 이탈의 추정 가능한 상한을 도출하고 동적 프로그래밍으로 정확히 최적화한다. 텍스트·생물 서열·이미지 생성 과제에서 VISTA는 과제별 맞춤 일정을 발견해 수작업 희소 일정을 능가했고, 독성 텍스트 생성에서는 전체 가이던스와 비슷한 수준(0.99 대 1.00)을 유지하면서 생성당 지연 시간을 204.23초에서 38.16초로 5.35배 줄였다.
- •SMC 가이던스를 모든 단계가 아닌 일부 타임스텝에만 자동 선택해 적용하는 학습 불필요 기법 VISTA
- •워밍업 생성의 값 통계로 경로 이탈 상한을 추정, 동적 프로그래밍으로 최적 일정 도출
- •텍스트·생물서열·이미지 생성에서 수작업 희소 일정보다 우수한 성능
- •독성 텍스트 생성에서 품질 유지하며 생성당 지연 시간 5.35배 단축(204.23초→38.16초)
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion
- 1.VISTA라는 학습 불필요 방법 제안, 동적계획법으로 희소 가이던스 시점을 자동 선택
- 2.소수의 풀가이던스 웜업 생성의 값 통계로 스케줄을 최적화
- 3.텍스트·생물서열·이미지 생성에서 기존 수작업 스케줄 능가, 풀가이던스 성능에 근접
- 4.독성텍스트 생성 지연시간 204초→38초로 5.35배 단축, 품질은 풀가이던스와 비슷
왜 중요한가?
매 단계 리워드 평가가 필요한 SMC 가이던스의 계산 비용 문제를 테스크별 자동 스케줄 선택으로 해결, 추론 비용을 크게 줄이면서 품질 저하를 최소화하는 실용적 해법을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.20669v1 Announce Type: new Abstract: Reward-guided discrete diffusion enables test-time alignment with downstream objectives, but applying Sequential Monte Carlo (SMC) guidance at every denoising step is computationally expensive. Active guidance steps require additional reward evaluations and, for gradient-based proposals, value-gradient computations. Sparse guidance reduces this cost by guiding only a subset of timesteps, but commonly used schedules are fixed heuristics whose effec
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안