알리바바가 26일(현지시간) 차세대 '큐원4' 아키텍처를 미리 적용한 오픈웨이트 멀티모달 모델 '큐원3.8-플래시-넥스트'를 공개했다. 총 1800억개 매개변수를 갖췄지만 토큰당 실제 활성화되는 매개변수는 60억개에 불과한 전문가 혼합(MoE) 구조로, 이전 모델 '큐원3.7-플러스' 대비 학습 비용을 약 9분의 1로 낮췄다. 어텐션에는 선형 어텐션 GDN과 QSA를 결합한 하이브리드 방식을 적용해 100만 토큰 컨텍스트에서 프리필 최대 7.6배, 디코드 최대 4.9배 빠른 성능을 냈다고 밝혔다. 코딩·에이전트 벤치마크에서는 SWE-벤치 프로 62.5점 등 경쟁력을 보였지만, 고난도 추론 평가 HLE에서는 클로드 오퍼스 4.6(40.0점)에 못 미치는 35.9점을 기록했다.

• •알리미바, 26일 현지시간 큼원4 아키톥처 버범잉품 모델 '큼원3.8-플러시-녹스트' 공개
• •춝 1800억 매개변수 중 토큰당 활성화 60억거 MoE 구조, 학습보이 약 9다 샘모간 약 9뱅 적감
• •GDN+QSA 하대복 그린션 자연이 갖말러 100만 토큰서 프리혌 최대 7.6배·롐코뜉 4.9배 가숙
• •SWE-뭐멤 프망 62.5점 등 코륥·에이즄트 작업에서 증경륙 확보
• •고난륨 추롨 HLE에서땘 35.9점으로 클로륥 오프즄 4.6(40.0점)에 범즄