AWS가 9월 18일 아마존 세이지메이커 하이퍼팟 추론 게이트웨이를 발표했다. 쿠버네티스 네이티브 GPU 인식 라우팅 시스템으로 기존 하이퍼팟 인프라 위에 단일 관리형 애드온으로 배포되며, 첫 토큰 지연시간을 최대 82%까지 줄일 수 있다고 밝혔다. 기존 라운드로빈 방식은 GPU의 KV 캐시 사용률이나 LoRA 어댑터 적재 상태를 파악하지 못해 트래픽 급증 시 지연시간이 4초 이상으로 치솟는 문제가 있었는데, 이 게이트웨이는 엔보이 게이트웨이·바디 기반 라우터·엔드포인트 피커로 구성된 2계층 아키텍처를 통해 실시간 프로메테우스 지표를 기반으로 요청을 최적의 파드에 배분한다. AWS의 벤치마크에 따르면 혼합 GPU 환경에서 라마-3.1-8B는 첫 토큰 지연시간(P95/P99)이 각각 97%, Qwen3-32B는 최대 98% 감소했으며, 처리량도 최대 50% 늘었다. 1단계(클러스터별 게이트웨이)는 9월 18일부터 이용 가능하며, 향후 다중 클러스터·리전을 아우르는 2단계 '글로벌 추론 라우터'가 출시될 예정이다.

• •AWS, 쿠버네티스 네이티브 GPU 인식 라우팅 '세이지메이커 하이퍼팟 추론 게이트웨이' 발표
• •첫 토큰 지연시간 최대 82% 감소, 기존 애플리케이션 코드 변경 불필요
• •엔보이 게이트웨이·바디 기반 라우터·엔드포인트 피커의 2계층 아키텍처로 실시간 GPU 지표 기반 라우팅
• •벤치마크서 라마-3.1-8B P95/P99 지연 97% 감소, Qwen3-32B 처리량 최대 50% 증가
• •1단계 클러스터별 게이트웨이는 9월 18일 출시, 향후 다중 클러스터 대응 '글로벌 추론 라우터' 예정