문샷 AI가 2026년 7월 27일 공개한 2.8조 파라미터 규모의 전문가 혼합(MoE) 모델 '키미 K3'를 AWS에 배포하는 방법을 다룬 기술 가이드다. 키미 K3는 896개 전문가 중 토큰당 16개만 활성화해 약 1040억 파라미터만 실제 연산에 사용하며, 이전 모델 키미 K2 대비 2.5배의 확장 효율을 달성했다. 가중치는 허깅페이스에 MXFP4(4비트) 포맷으로 공개돼 있으며, 서빙에는 vLLM 전용 추론 컨테이너와 8개의 엔비디아 B300 GPU를 탑재한 p6-b300 인스턴스가 필요하다. 글은 아마존 세이지메이커 하이퍼팟(관리형, Inference Operator 활용)과 아마존 EKS(자체 관리형, 캐퍼시티 블록 예약) 두 가지 배포 경로를 단계별로 안내한다.

• •문샷 AI, 2.8조 파라미터 MoE 모델 '키미 K3' 공개(토큰당 16개 전문가·약 1040억 파라미터 활성화)
• •키미 K2 대비 2.5배 확장 효율, 100만 토큰 컸텍스트와 네이티브 멀티모달 지원
• •가중치는 허깅페이스에 MXFP4(4비트) 포맷 공개, vLLM 전용 추론 컨테이너로 서빙
• •8개 엔비디아 B300 GPU 킑재 p6-b300 인스턴스 필요, 세이지메이커 하이퍼팀 또는 EKS로 배포 가능