마이크로소프트가 2조8000억개 매개변수를 가진 MoE 기반 대규모 AI 모델 'MAI-베이스-2'의 사전 학습을 완료했다고 발표했다. 토큰당 활성화되는 매개변수는 800억개이며, 같은 평가 수준에 도달하는 데 필요한 연산량 기준으로 딥시크의 'V4 프로 베이스'보다 4.2~12.3배 높은 효율을 달성했다고 밝혔다. 엔비디아 GB200 GPU 1만6000개로 38일간 학습했고, 이전 모델 MAI-베이스-1 대비 연산 효율이 6.3~12.7배 개선됐다. 전체 학습의 18%를 시각언어 데이터로 구성해 처음부터 이미지와 텍스트를 함께 학습하도록 설계했다. 무스타파 술레이먼 CEO는 내부 타운홀에서 오픈AI 대비 약 4분의 1의 연산량으로 더 강한 사전 학습 모델을 만들었다고 주장해, 외부 모델 의존도를 낮추려는 MS의 독자 개발 역량 강화 행보로 해석된다.

• •MS, 2조8000억 매개변수 MoE 모델 'MAI-베이스-2' 사전 학습 완료 발표
• •딥시크 V4 프로 베이스 대비 연산 효율 4.2~12.3배, GB200 GPU 1.6만개로 38일 학습
• •학습 데이터의 18%가 시각언어 데이터, 처음부터 이미지·텍스트 함께 학습
• •술레이먼 CEO, 오픈AI 대비 4분의 1 연산량으로 더 강한 모델 구축 주장(비공개 평가)
• •현재 사후학습 단계, 가중치는 파운드리 통해 기업에 공급 계획