LLM 경량화에서 구조적 가지치기(pruning)와 혼합 정밀도 양자화를 하나의 탐색 공간에서 동시에 최적화하는 엔드투엔드 프레임워크를 제안한다. 기존 사후학습 양자화(PTQ)는 층별 오류만 최적화해 오류 누적·전파를 간과하고, 가지치기와 양자화를 따로 또는 순차 적용해 최적성이 떨어진다는 문제를 지적한다. 저자들은 모델 전체의 전역 오류 전파를 직접 최소화하는 혼합 정밀도 PTQ 전략과, 가지치기 결정과 양자화 정책을 함께 학습하는 공동 최적화를 결합했다. 초저정밀(1~3비트)에서 SoTA 가중치-활성화 양자화 대비 WikiText 퍼플렉서티를 최대 21% 낮췄고, 가중치 전용 방식 대비 WikiText·C4에서 각각 최대 59%·85% 낮은 퍼플렉서티를 달성했다. 메모리·지연을 크게 줄이면서 추론 성능을 지키는 실용적 압축 기법이다.
- •구조적 가지치기와 혼합 정밀도 양자화를 단일 탐색 공간에서 동시 최적화하는 엔드투엔드 프레임워크
- •층별 오류 대신 모델 전체의 전역 오류 전파를 직접 최소화하는 혼합 정밀도 PTQ 전략
- •초저정밀(1~3비트)에서 SoTA 가중치-활성화 양자화 대비 WikiText 퍼플렉서티 최대 21% 감소
- •가중치 전용 방식 대비 WikiText·C4에서 각각 최대 59%·85% 낮은 퍼플렉서티
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression
- 1.LLM 압축을 위해 구조적 프루닝과 혼합정밀도 양자화를 단일 탐색공간에서 동시 최적화하는 종단간 프레임워크
- 2.레이어별이 아닌 모델 전체의 전역 오차 전파를 직접 최소화하는 혼합정밀도 PTQ 전략 제안
- 3.1~3비트 초저정밀도에서 WikiText perplexity를 SoTA 가중치-활성 양자화 대비 최대 21% 감소
- 4.가중치 전용 양자화 대비 WikiText 59%·C4 85%까지 perplexity 개선
왜 중요한가?
프루닝과 양자화를 따로 적용하던 기존 파이프라인의 누적 비효율을 동시 최적화로 해소하고, 1~3비트 초저정밀도에서도 큰 성능 향상을 보였다는 점에서 메모리·지연이 중요한 LLM 배포 환경에 실질적 개선을 제공한다.
대규모 언어 모델(LLM)의 효율적인 배포는 국내 AI 서비스 기업들에게 핵심적인 과제이자 경쟁력입니다. 이 연구는 구조적 가지치기와 혼합 정밀도 양자화를 결합하여 LLM의 메모리 및 추론 비용을 효과적으로 절감하는 방안을 제시하며, 이는 국내에서 LLM 기반 서비스의 확장성과 경제성을 확보하는 데 매우 중요한 기술적 진전으로 평가될 수 있습니다.
본문 미리보기
arXiv:2606.07819v1 Announce Type: new Abstract: Recently, the efficiency of Large Language Models (LLMs) deployment has become a critical concern in practical applications. While post-training quantization (PTQ) and structural pruning are established techniques for reducing memory footprint and inference latency, most existing PTQ approaches optimize quantization errors on a per-layer basis, overlooking how errors accumulate and propagate through the network, often resulting in suboptimal solut
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
