아마존 세이지메이커 AI가 2026년 한 해 동안 완전관리형 엔드포인트와 쿠버네티스 기반 하이퍼팟 추론(HyperPod Inference) 두 경로에 걸쳐 총 13건의 신규 추론 기능을 출시했다고 밝혔다. 엔드포인트 쪽에서는 벤치마킹을 수 주에서 수 시간으로 단축하는 추론 추천 기능, 용량 부족 시 최대 5개 인스턴스로 자동 전환하는 용량 인식 인스턴스 풀, OpenAI 호환 API, 컨테이너 캐싱(시작 지연 51% 감소), 100개 이상 지표를 제공하는 관측성 대시보드, 비동기 추론 인라인 페이로드, 프리픽스 인식 라우팅(TTFT 최대 77% 단축) 등이 출시됐다. 하이퍼팟 쪽에서는 EKS용 간소화 추론 오퍼레이터, L1·L2 계층형 KV 캐시와 지능형 라우팅(최대 40% 지연 감소), 컴플라이언스용 데이터 캡처, 프리필·디코드 분리(DPD), 허깅페이스·NVMe·Route 53 연동, 모델 캐싱(스케일아웃 최대 60% 가속) 기능이 추가됐다. 이러한 기능들은 대형언어모델 서빙에서 콜드스타트, GPU 용량 제약, 토큰 단위 관측성 부재 등 고질적 문제를 해결해 배포부터 운영까지 전 단계의 마찰을 줄이는 데 초점을 맞췄다.

• •2026년 세이지메이커 AI, 엔드포인트·하이퍼팏 추론 두 경로에 걸쳐 13건 신규 기능 출시
• •추론 추천, 용량 인식 인스턴스 풀, OpenAI 호환 API 등으로 엔드포인트 배포 간소화
• •컨테이너 캐싱으로 시작 지연 51%↓, 프리픽스 인식 라우팅으로 TTFT 최대 77%↓
• •하이퍼팏에 계층형 KV 캐시·지능형 라우팅 도입, 지연 최대 40% 감소
• •프리필·디코드 분리(DPD)와 모델 캐싱으로 콜드스타트·지연 문제 대응