아마존 세이지메이커 하이퍼팟(SageMaker HyperPod)이 추론 파드의 콜드 스타트 지연을 줄이는 '모델 캐싱' 기능을 정식 출시했다. 기존에는 컨테이너 이미지 다운로드(5~7분)와 모델 가중치 다운로드(DeepSeek-R1 같은 600GB급 모델은 30분 이상)가 순차적으로 이뤄져 스케일아웃 대응이 느렸는데, 모델 캐싱은 클러스터 노드에 미리 가중치와 이미지를 적재해 로컬 NVMe에서 초당 약 7GB로 읽도록 한다. 가중치 캐시와 이미지 캐시는 독립적으로 활성화할 수 있으며, 캐시가 준비되지 않은 노드에 배치돼도 기존 방식으로 정상 폴백된다. 벤치마크에서 57~145GB급 모델 기준 스케일아웃 속도가 약 60% 빨라졌고 이미지 풀 시간은 최대 97% 단축됐다.

• •모델 가중치·컸테이너 이미지를 노드에 사전 적재해 로컬 NVMe에서 초당 약 7GB 속도로 읽음
• •57~145GB 모델 기준 스케일아웃 속도 약 60% 향상, 이미지 풀 시간 최대 97% 단축
• •600GB급 DeepSeek-R1은 30분 이상 걸리던 다운로드를 생략 가능
• •가중치 캐시·이미지 캐시 독립 활성화 가능, 미준비 노드는 기존 방식으로 자동 폴백
• •InferenceEndpointConfig·JumpStartModel에 modelCacheConfig 추가만으로 활성화, 모든 리전에서 상용 제공