파이낸셜타임스 보도에 따르면 바이트댄스가 최대 10조 파라미터 규모의 AI 모델을 훈련 중이며, 이는 현재 중국 최대 모델인 문샷의 키미 K3보다 3배 크고 업계 추정치상 약 8조 파라미터인 앤트로픽의 최상위 모델 미토스5(Mythos 5)와 비슷한 규모다. 관계자 3명은 이 모델이 통상 3~6개월 걸리는 사전훈련(pretraining) 단계에 있다고 전했으며, 한 소식통은 바이트댄스가 1년 넘게 타사 모델 출력을 학습에 쓰는 '증류(distillation)'를 피해왔다고 밝혔다. 창업자 장이밍은 2000명 규모의 시드(Seed) 팀에 장기적으로 세계 최고 수준의 모델 능력을 목표로 하라고 지시했다. 한편 일론 머스크에 따르면 xAI도 콜로서스2 클러스터에서 60조와 100조 파라미터 규모의 그록 변형 모델을 훈련 중이다.

• •바이트대스, 최대 10조 파라미터 AI 모델 훈련 중으로 FT 보도
• •기존 중국 최대 모델 키미 K3의 3배, 앱트로픽 미토스 5와 비슷한 규모
• •바이트대스는 1년 이상 타사 모델 출력 증류(distillation) 방식을 피해온 것으로 전해짐
• •xAI도 콜로서스2 클러스터에서 6조·10조 파라미터급 그록 변형 훈련 중