커서(Cursor)가 엔비디아 블랙웰 기반 GB300/GB200 NVL72 서버 환경에 특화된 오픈소스 MoE 학습 커널 'MoK(Mixture-of-Kittens)'를 아파치 2.0 라이선스로 공개했다. 전문가 혼합(MoE) 모델 학습의 최대 병목인 GPU 간 통신과 연산을 하나의 결정론적 메가커널로 통합해, 기존 공개 구현 대비 MXFP8 순전파에서 최대 2.37배 빠른 처리량을 기록했다. 커서는 자체 코딩 모델 '컴포저' 학습에 MoK를 실제 적용해, 512개 GPU 환경에서 GPU당 초당 처리 토큰 수가 760.9개에서 1070.2개로 늘어 전체 학습 처리량이 약 41% 향상됐다고 밝혔다. 다만 블랙웰 SM100·SM103 GPU와 특정 소프트웨어 버전이 필요해 활용처는 대형 연구소나 슈퍼컴퓨팅 센터 등으로 제한된다.

• •MoE 계층의 GPU 간 통신과 연산을 하나의 결정론적 메가커널로 통합해 병목이던 통신 비용을 최소화
• •MXFP8 순전파 기준 기존 공개 구현(DeepEP, NCCL+PyTorch 등) 대비 최대 2.37배 빠른 처리량
• •512개 GPU 실제 학습 환경에서 전체 처리량 약 41%(1.41배) 향상을 실증
• •GB300/GB200 NVL72 등 블랙웰 전용 하드웨어 요구로 대규모 인프라 보유 기관에 활용 제한