BAOC(예산 인식 자동 옵티마이저 구성기)는 대규모 모델 학습에서 네트워크 블록별로 적합한 옵티마이저 구성을 배정해 GPU 메모리를 절감하는 방법이다. 경사도 스트림을 샘플링해 저렴한 구성(저정밀도, 모멘텀 제거 등)의 성능 위험을 정량화한 후, 메모리·시간 예산 하에서 위험을 최소화하는 할당 문제를 풀어 각 블록에 최적 구성을 선택한다. 비전, 언어, 확산 워크로드 전반에서 학습 품질을 유지하면서 옵티마이저 상태 메모리를 크게 줄였다.
- •서로 다른 네트워크 블록의 경사도는 방향 안정성과 스케일 이방성이 다르므로 전역 옵티마이저 적용은 메모리 비효율적이다.
- •BAOC는 경사도 스트림 통계로 저렴한 옵티마이저 구성의 성능 위험을 정량화한다.
- •제약 할당 문제를 풀어 메모리·시간 예산 하에서 블록별로 최적 옵티마이저 구성을 선택한다.
- •비전, 언어, 확산 워크로드 전반에서 학습 품질을 유지하면서 옵티마이저 상태 메모리를 크게 줄였다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Budget-aware Auto Optimizer Configurator
- 1.대규모 모델 학습 시 GPU 메모리를 절감하는 Budget-Aware Optimizer Configurator(BAOC) 제안
- 2.네트워크 블록별 그레이디언트 특성 분석해 최적화된 옵티마이저 설정 자동 할당
- 3.제약 최적화로 메모리·시간 예산 내 비용 효율적 설정 선택
- 4.비전·언어·확산 모델 실험에서 학습 품질 유지하며 옵티마이저 상태 메모리 대폭 절감
왜 중요한가?
대형 모델 학습의 GPU 메모리 병목을 완화하는 실용적 접근법으로, 비용 증가 없이 더 큰 모델을 학습할 수 있는 가능성을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2605.04711v1 Announce Type: new Abstract: Optimizer states occupy massive GPU memory in large-scale model training. However, gradients in different network blocks exhibit distinct behaviors, such as varying directional stability and scale anisotropy, implying that expensive optimizer states are not universally necessary and using a global optimizer is often memory-inefficient. We propose the Budget-Aware Optimizer Configurator (BAOC) to reduce memory cost by assigning suitable optimizer c
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
