SAGE-PTQ는 대형 언어모델의 초저비트 사후훈련 양자화(PTQ)에서 숨은 스케일링 비용을 최소화하는 새 프레임워크다. 분포 통계로 중요(salient)·비중요 가중치를 분리하고, 비중요 가중치를 희소 그래프로 모델링해 층별 최적 그룹 수를 추정한 뒤, 중요 가중치엔 다중 비트, 비중요 가중치엔 이진화를 적용하는 이중 모드 양자화를 쓴다. 스케일링 부담을 줄이려 중요 가중치는 채널별 스케일 1개, 비중요 그룹은 스칼라 1개만 사용하고, 적응형 중요도 임계값으로 행렬마다 최적 비율을 고른다. 평균 가중치 1.03비트·스케일링 0.004비트로 BiLLM·PB-LLM을 능가하며, LLaMA-3-8B에서 WikiText2 퍼플렉시티 6.74(BiLLM 55.8)를 BiLLM의 50% 미만 GPU 메모리로 달성했다. LLaMA-2-70B에서는 L40 단일 GPU로 1.5배 빠른 디코딩을 보여 실용적 추론 효율을 입증했다.
- •분포 통계로 중요·비중요 가중치를 분리하고 비중요 가중치를 희소 그래프로 모델링해 층별 최적 그룹 수 추정
- •중요 가중치는 다중 비트, 비중요 가중치는 이진화하는 이중 모드 양자화 적용
- •평균 가중치 1.03비트·스케일링 0.004비트로 BiLLM·PB-LLM 대비 SOTA 달성
- •LLaMA-3-8B WikiText2 퍼플렉시티 6.74(BiLLM 55.8)를 BiLLM의 50% 미만 GPU 메모리로 달성
- •LLaMA-2-70B에서 NVIDIA L40 단일 GPU로 1.5배 빠른 디코딩 입증
Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models
- 1.LLM 효율적 배포의 핵심
- 2.초저비트 양자화 기술
- 3.숨겨진 비용 최소화 방안
왜 중요한가?
대규모 언어 모델(LLM)의 효율적인 배포를 저해하는 숨겨진 비용 문제를 해결하여, LLM을 더욱 광범위하게 적용하고 자원 효율성을 높이는 데 기여합니다. 특히 그래프 기반 양자화 방법은 모델 경량화에 새로운 방향을 제시합니다.
LLM의 효율적인 배포를 위한 초저비트 양자화 기술 연구는 대규모 AI 모델 운영의 숨겨진 비용을 최소화하는 데 집중합니다. 높은 컴퓨팅 자원이 요구되는 국내 LLM 개발 및 서비스 환경에서, 이 기술은 모델 경량화를 통해 운영 효율성을 높이고, 더 많은 기업들이 비용 부담 없이 LLM을 활용할 수 있게 하여 국내 AI 산업 발전에 기여할 것입니다.
본문 미리보기
arXiv:2606.05429v1 Announce Type: new Abstract: Post-training quantization (PTQ) is critical for the efficient deployment of large language models (LLMs). Recent ultra-low-bit PTQ methods rely on rigid weight-saliency assumptions or position heuristics, introducing substantial hidden scaling overhead. We propose SAGE-PTQ (Saliency-Aware Graph-guided Efficient PTQ), a novel ultra-low-bit quantization framework for LLMs that minimizes hidden scaling cost. SAGE-PTQ separates salient and unsalient
전체 내용이 궁금하다면?
원문을 직접 읽어보세요