Mixture-of-Experts kernel engineering on Amazon SageMaker AI

출처:AWS ML Blog

AI 인사이트

개발자

1.AWS, 퓨즈드 MoE 모델용 커널 최적화 3종 공개·vLLM에 오픈소스로 상류 반영
2.'Swap-AB' 기법으로 호퍼 GPU WGMMA 활용률 개선, H200서 종단간 처리량 2~4% 향상(vLLM 0.24.0+)
3.FP8 양자화 모델엔 트리톤 백엔드가 CUTLASS보다 우수함을 확인, 라우팅 전환만으로 처리량 10% 향상(AWS LMI v28)
4.트리톤 JIT 재컴파일 제거 기법으로 8-way 텐서 병렬 H200 환경서 최초 토큰 생성 시간(TTFT) 9% 개선(vLLM 0.22.0+)

왜 중요한가?

별도 모델 재학습 없이 커널·라우팅·컴파일 설정 변경만으로 대규모 MoE 모델의 추론 처리량과 응답 지연을 두 자릿수 퍼센트까지 개선한 실전 최적화 기법으로, vLLM 오픈소스에 상류 반영돼 업계 전반의 서빙 비용 절감에 직접 활용될 수 있다.

언급 프로젝트

AWS SageMaker AI vLLM NVIDIA Hopper

본문 미리보기

AWS engineers share kernel optimizations for fused Mixture-of-Experts (MoE) models on Amazon SageMaker AI: Swap-AB for WGMMA utilization, Triton backend routing for FP8 quantization, and eliminating Triton JIT recompilation. Together they deliver up to 10% higher throughput and up to 9% faster Time to First Token on H200 GPUs.

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기