알리바바 큐원팀이 8월 12일 공개한 오픈웨이트 모델 큐원3.8-2.4T-A95B(총 2.4조 파라미터, 토큰당 950억 파라미터 활성화)를 아마존 세이지메이커 하이퍼팟과 vLLM을 이용해 배포하는 방법을 소개한 기술 가이드다. 이 모델은 최대 26만2144토큰(확장 시 최대 101만 토큰) 컨텍스트를 지원하는 하이브리드 선형-전체어텐션 구조를 갖췄으며, NVFP4 양자화를 적용해 8개의 NVIDIA B300 GPU로 구성된 단일 노드(ml.p6-b300)에 배포할 수 있다. 벤치마크에서 익스퍼트 병렬화(EP)와 다중토큰예측(MTP) 추론 가속을 함께 적용할 경우 첫 토큰 응답시간(TTFT)이 기준 대비 59.7% 단축되고 처리량은 12.6% 향상되는 것으로 나타났다. 완전한 오픈웨이트 배포를 통해 데이터 주권을 유지하면서 프론티어급 에이전트·추론 워크로드를 자체 인프라에서 운영할 수 있는 실용적 대안을 제시한다.

• •큐원3.8-2.4T-A95B, 2.4조 파라미터 중 950억 개만 활성화하는 MoE 구조의 오픈웨이트 모델
• •NVFP4 양자화로 8×B300 GPU 단일 노드에 배포 가능, 원본 가중치는 약 1.2TB로 압축
• •익스퍼트 병렬화+MTP 조합 시 TTFT 59.7% 단축, 처리량 12.6% 향상
• •최대 26만2144토큰, 확장 시 최대 101만 토큰까지 지원하는 하이브리드 어텐션 구조
• •PaperBench 93.0, 터미널 코딩 86.6 등 벤치마크에서 프론티어 모델과 대등한 성능 기록