엔비디아가 LLM 배포·확장과 강화학습 사후학습 과정의 모델 가중치 이동을 최적화하는 소프트웨어 인프라 '모델익스프레스(ModelExPress)'를 24일 발표했다. 모델 규모가 테라바이트급으로 커지면서 새 서버 가동 시 모델 로딩에만 10분 이상 걸리는 '콜드 스타트'가 병목이 됐는데, MX는 새 서버가 외부 저장소 대신 같은 모델을 이미 띄운 옆 서버의 GPU에서 데이터를 직접 전송받도록 해 문제를 해결했다. 800GB급 초대형 모델 기준 서버 준비 시간이 8분 이상에서 1분44초로 줄었고, 서버 간 모델 복사 자체는 10초 미만이다. 앞선 서버의 컴파일·최적화 결과물까지 함께 복사해 반복 작업을 없앴으며, vLLM·SGLang 등 주요 오픈소스 추론 엔진과 즉시 연동된다. 대규모 AI 클러스터 운영 기업의 확장 대기 시간을 크게 줄일 것으로 기대된다.

• •엔비디아, GPU 간 직접 전송으로 LLM 가중치 이동을 최적화하는 '모델익스프레스(MX)' 발표
• •800GB급 모델 기준 서버 준비 시간 8분 이상 → 1분44초로 단축, 서버 간 복사는 10초 미만
• •외부 저장소 대신 이미 가동 중인 이웃 서버 GPU에서 직접 데이터를 받아 콜드 스타트 해소
• •기존 서버의 컴파일·최적화 결과물까지 복사해 반복 최적화 과정 생략, RL 학습-추론 서버 간 전송도 효율화
• •vLLM·SGLang 등 주요 오픈소스 추론 엔진과 즉시 연동