0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
- 1.NVIDIA·AI4Bharat가 22개 인도언어용 Nemotron-Indic-v1 코퍼스(약 2.8조 토큰) 공개 예정
- 2.12개 언어는 네이티브+로마자 표기, 10개 언어는 네이티브만 지원해 총 34개 조합 구성
- 3.Gemma-4-31B-it 기반 번역-평가-보정 파이프라인 구축, 재작성으로 4384억 토큰 복구
- 4.Nemotron 3.5 Super VL에 100억 인디 토큰 추가학습, 벤치마크 5종서 4.98~9.82%p 상승
왜 중요한가?
영어 대비 인도 언어 학습데이터가 부족했던 문제를 대규모 합성 코퍼스와 재사용 가능한 생성 파이프라인으로 함께 해결해, 커뮤니티가 자체 데이터로도 인디 언어 모델 데이터를 확장할 수 있는 길을 열었다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안