모티프테크놀로지스가 독자 개발 대형언어모델 '모티프 3' 기술보고서를 11일 허깅페이스에 공개하고 챗봇 체험 서비스도 열었다. 모티프 3는 자체 사전학습 파운데이션 모델에 엔비디아 'NeMo-RL'로 강화학습을 적용한 3140억개 매개변수(토큰당 132억개 활성화) 전문가 혼합(MoE) 구조로, 51개 전문가 모델과 26만 토큰 컨텍스트를 지원한다. 아티피셜 애널리시스 종합성능지표(AAII)에서 베타 기준 45점을 기록해 딥시크-V4 프로, 미니맥스-M3와 동급 수준에 올랐다. 어텐션 구조를 GDA에서 GDLA로 개선하는 등 아키텍처·인프라 최적화를 앞세워 프론티어 LLM 경쟁에 합류했다고 밝혔다.
- •모티프테크놀로지즈, '모티프 3' 기술보고서 및 오픈소스 모델 허깅페이스 공개
- •매개변수 3140억개(토큰당 132억개 활성화) MoE 구조, 51개 전문가·26만 토큰 컸텍스트
- •AAII 벤치마크 베타 45점, 딥시크-V4 프로·미니맥스-M3와 동급
- •어텐션 아키텍처 GDA→GDLA 개선, 엔비디아 NeMo-RL 강화학습 적용
- •모티프 2 12.7B는 이미 MS 마켓플레이스에서 제공 중
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
모티프, 독파모 모델 ‘모티프 3’ 기술보고서 공개…챗봇 체험도 가능
본문 미리보기
모티프테크놀로지스(대표 임정환)는 11일 독자 AI 모델 ‘모티프 3(Motif 3)’의 기술보고서를 공개했다고 밝혔다. 모티프테크놀로지스는 ‘모티프 3’ 오픈소스 모델과 함께 기술보고서를 허깅페이스에 공개한 상태다. 모티프 3는 자체 사전훈련을 거친 파운데이션 모델을 기반으로 하며, 엔비디아 라이브러리 ‘NeMo-RL’을 통해 강화학습을 거쳤다. 모델 및 기술보고서 공개 시점에 대해서는 “이번 모델 홍보에는 엔비디아 본사가 함께하고 있으며, 프로모션 타이밍에 맞춰 최대한 많은 내용을 공유하기 위한 것”이라고 설명했다. 이미 지난달
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:59AI 초안
