🇰🇷 한국어 요약by Claude · 2026. 7. 23.
Hugging Face Diffusers가 SVDQuant 기반 4비트(W4A4) 추론 엔진 Nunchaku를 'Nunchaku Lite'로 네이티브 통합해, 별도 추론 라이브러리 없이 from_pretrained() 호출만으로 양자화된 디퓨전 모델을 로드할 수 있게 됐다. 가중치와 활성값을 모두 4비트로 처리해 RTX PRO 6000 기준 피크 VRAM을 31.1GB에서 최대 16GB로 약 50% 줄이면서 지연시간도 약 30% 단축했고, torch.compile 결합 시 BF16 대비 1.8배까지 빨라진다. NVFP4 커널은 Blackwell(RTX 50 시리즈) 전용이며 구형 GPU는 INT4 변형을 쓰면 된다. 함께 공개된 diffuse-compressor 툴킷으로 FLUX.2 Klein 4B 같은 새 아키텍처도 직접 양자화해 Hub에 배포할 수 있다. 20~30GB VRAM이 필요하던 대형 디퓨전 모델을 소비자용 GPU에서 실용적으로 돌릴 수 있게 하는 진전이다.
- •SVDQuant은 활성값 아웃라이어를 가중치로 옮기고 16비트 저랭크 분기로 보정해 가중치·활성값 모두 4비트(W4A4) 양자화를 구현
- •Nunchaku Lite는 Diffusers 표준 모델의 nn.Linear를 런타임에 SVDQ/AWQ 레이어로 패치, 로컬 CUDA 컴파일 없이 kernels 패키지로 동작
- •벤치마크(RTX PRO 6000): BF16 3.0초/31.1GB → NVFP4+torch.compile 1.68초/20.6GB, NF4 텍스트 인코더 결합 시 16GB
- •NVFP4는 Blackwell GPU 전용, INT4는 RTX 30·40 시리즈와 A100 등 지원, Volta·Hopper는 미지원
- •diffuse-compressor 툴킷으로 새 모델 아키텍처를 직접 캘리브레이션·양자화해 일반 Diffusers 저장소로 배포 가능
AI2026년 7월 23일AI 점수: 90%
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
출처:HuggingFace Blog
✨ AI 인사이트
🧑💻 개발자
- 1.Diffusers가 Nunchaku SVDQuant 4비트(W4A4) 추론을 네이티브 지원, from_pretrained만으로 로드 가능
- 2.Nunchaku Lite는 로컬 CUDA 컴파일 없이 Hub 커널로 동작, VRAM 최대 50% 절감·1.35배 가속
- 3.torch.compile 결합 시 1.8배 가속, NF4 텍스트 인코더 병용 시 피크 VRAM 31GB→16GB
- 4.diffuse-compressor 툴킷으로 FLUX.2 Klein 4B 등 새 모델을 직접 양자화해 Hub 배포 가능
💡
왜 중요한가?
bitsandbytes 등 기존 weight-only 양자화는 메모리만 줄이고 속도는 못 높였지만, SVDQuant W4A4는 활성값까지 4비트로 처리해 메모리 절감과 추론 가속을 동시에 달성한다. 별도 추론 엔진 없이 Diffusers 표준 API로 쓸 수 있게 되면서 20~30GB VRAM이 필요하던 대형 디퓨전 모델을 소비자 GPU에서 돌리는 진입장벽이 크게 낮아졌다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#확산모델#4비트양자화#추론최적화#허깅페이스#오픈소스AI
