Hugging Face Diffusers가 SVDQuant 기반 4비트(W4A4) 추론 엔진 Nunchaku를 'Nunchaku Lite'로 네이티브 통합해, 별도 추론 라이브러리 없이 from_pretrained() 호출만으로 양자화된 디퓨전 모델을 로드할 수 있게 됐다. 가중치와 활성값을 모두 4비트로 처리해 RTX PRO 6000 기준 피크 VRAM을 31.1GB에서 최대 16GB로 약 50% 줄이면서 지연시간도 약 30% 단축했고, torch.compile 결합 시 BF16 대비 1.8배까지 빨라진다. NVFP4 커널은 Blackwell(RTX 50 시리즈) 전용이며 구형 GPU는 INT4 변형을 쓰면 된다. 함께 공개된 diffuse-compressor 툴킷으로 FLUX.2 Klein 4B 같은 새 아키텍처도 직접 양자화해 Hub에 배포할 수 있다. 20~30GB VRAM이 필요하던 대형 디퓨전 모델을 소비자용 GPU에서 실용적으로 돌릴 수 있게 하는 진전이다.
- •SVDQuant은 활성값 아웃라이어를 가중치로 옮기고 16비트 저랭크 분기로 보정해 가중치·활성값 모두 4비트(W4A4) 양자화를 구현
- •Nunchaku Lite는 Diffusers 표준 모델의 nn.Linear를 런타임에 SVDQ/AWQ 레이어로 패치, 로컬 CUDA 컴파일 없이 kernels 패키지로 동작
- •벤치마크(RTX PRO 6000): BF16 3.0초/31.1GB → NVFP4+torch.compile 1.68초/20.6GB, NF4 텍스트 인코더 결합 시 16GB
- •NVFP4는 Blackwell GPU 전용, INT4는 RTX 30·40 시리즈와 A100 등 지원, Volta·Hopper는 미지원
- •diffuse-compressor 툴킷으로 새 모델 아키텍처를 직접 캘리브레이션·양자화해 일반 Diffusers 저장소로 배포 가능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
- 1.Diffusers가 Nunchaku SVDQuant 4비트(W4A4) 추론을 네이티브 지원, from_pretrained만으로 로드 가능
- 2.Nunchaku Lite는 로컬 CUDA 컴파일 없이 Hub 커널로 동작, VRAM 최대 50% 절감·1.35배 가속
- 3.torch.compile 결합 시 1.8배 가속, NF4 텍스트 인코더 병용 시 피크 VRAM 31GB→16GB
- 4.diffuse-compressor 툴킷으로 FLUX.2 Klein 4B 등 새 모델을 직접 양자화해 Hub 배포 가능
왜 중요한가?
bitsandbytes 등 기존 weight-only 양자화는 메모리만 줄이고 속도는 못 높였지만, SVDQuant W4A4는 활성값까지 4비트로 처리해 메모리 절감과 추론 가속을 동시에 달성한다. 별도 추론 엔진 없이 Diffusers 표준 API로 쓸 수 있게 되면서 20~30GB VRAM이 필요하던 대형 디퓨전 모델을 소비자 GPU에서 돌리는 진입장벽이 크게 낮아졌다.
4비트 확산 추론 기술을 디퓨저에 적용하는 이 기사는 AI 모델의 효율성을 극대화하는 중요한 진전을 보여줍니다. 한국의 AI 개발자들과 기업들은 컴퓨팅 자원 절약 및 온디바이스 AI 구현을 위해 이러한 경량화 기술에 주목해야 할 것입니다. 특히 고품질 생성형 AI 모델의 접근성을 높이는 데 기여하며, 다양한 서비스 환경에 AI를 적용하는 데 필수적입니다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 19:58AI 초안
