NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt↗ (원문, 새 창)

엔비디아가 음성 전사, 화자 구분, 번역, 음성 질의응답을 하나의 체크포인트로 처리하는 오픈웨이트 모델 '네모트론 3.5 트랜스크라이브'와 음성 데이터 파이프라인 '그래너리 v2'를 공개했다. 이 모델은 40개 언어를 전사하고 31개 언어를 영어와 상호 번역하며 최대 8명의 화자를 구분하고, 허깅페이스 오픈 ASR 리더보드 영어 트랙에서 오픈웨이트 모델 중 평균 단어오류율(WER) 5.33%로 1위를 차지했다. 전체 300억 매개변수 중 약 40억개만 활성화하는 하이브리드 맘바-트랜스포머 구조로 효율성을 높였으며, 아티피셜 애널리시스 기준 활성 매개변수가 6분의 1 수준인데도 경쟁 모델과 동률의 정확도(AA-WER 2.8%)를 기록했다. 의료 분야 사례 연구에서는 파인튜닝으로 held-out 화자 기준 단어오류율을 22.44%에서 12.17%로 45.8% 낮췄다.

• 네모트론 3.5 트랜스크라이브, 전사·화자구분·번역·음성질의응답을 한 모델로 통합
• 허깅페이스 오픈 ASR 리더보드 영어 트랙 오픈웨이트 모델 중 WER 5.33%로 1위
• 300억 매개변수 중 약 40억개만 활성화하는 하이브리드 맘바-트랜스포머 구조로 효율 확보
• 그래너리 v2 데이터셋, 48개 언어 46만3062시간 규모로 공개
• 의료 사례 연구서 파인튜닝으로 단어오류율 45.8% 감소(22.44%→12.17%)