아마존이 세이지메이커 하이퍼팟(SageMaker HyperPod)에 레이(Ray)를 통합한 신규 기능을 발표해 Amazon EKS 기반 대규모 파운데이션 모델 학습·서빙 인프라에서 관리형 레이 클러스터를 지원한다. 기존에는 YAML 매니페스트 작성과 도커 이미지 재빌드, kubectl 포트포워딩, 프로메테우스·그라파나 수동 설정이 필요했지만 이제 세이지메이커 스튜디오에서 클러스터 생성부터 대시보드 열람, 주피터랩·코드에디터 연결, 원격 작업 제출까지 모두 처리할 수 있다. 노드 장애 시 자동 복구와 계층형 체크포인팅, 정체된 작업을 감지하는 '행 잡 디텍션' 등 3중 복원력 기능을 제공하며, 세이지메이커 점프스타트 모델을 레이 서브 엔드포인트에 직접 로드하고 장문 컨텍스트 요청을 위한 KV 캐시 오프로딩도 지원한다. 이 기능은 오픈소스 쿠버레이(KubeRay)와 표준 레이 API를 그대로 사용하므로 기존 스크립트를 수정 없이 실행할 수 있다.

• •세이지메이커 스튜디오에서 코드 작성 없이 레이 클러스터 생성·모니터링·대시보드 접근 가능
• •노드 자동 복구, 행 잡(정체 작업) 감지, 계층형 체크포인팅 등 3중 복원력 체계 제공
• •세이지메이커 점프스타트 모델을 레이 서브에 직접 배포, 계층형 KV 캐시로 장문 컨텍스트 지연시간 단축
• •오픈소스 쿠버레이·표준 레이 API와 완전 호환되어 기존 코드 수정 없이 사용 가능