NVIDIA가 단일 체크포인트로 40개 언어-로케일을 실시간 전사하는 600M 파라미터 스트리밍 음성인식 모델 'Nemotron 3.5 ASR'을 공개하고 파인튜닝 방법을 소개했다. Cache-Aware FastConformer-RNNT 구조로 오디오 프레임을 한 번씩만 처리해 저지연과 고정확도를 동시에 달성하며, 구두점·대소문자 처리와 언어 자동 감지를 모델 자체에 내장했다. 그리스어·불가리아어를 약 2,000시간 데이터로 파인튜닝한 결과 80ms 스트리밍 조건에서 WER이 각각 32%, 31% 개선됐다(그리스어 35→24, 불가리아어 22→15). att_context_size로 80ms~1.12s 지연-정확도 지점을 추론 시 선택할 수 있어, 저자원 언어나 특정 도메인·악센트에 맞춰 적은 데이터로 큰 성능 향상을 얻을 수 있음을 보였다.

• •600M 파라미터 단일 체크포인트로 40개 언어-로케일을 실시간 스트리밍 전사, 구두점·대소문자·언어감지 내장
• •Cache-Aware FastConformer-RNNT로 오디오 프레임을 중복 없이 한 번만 처리해 저지연과 고정확도 동시 달성
• •그리스어·불가리아어 약 2,000시간 파인튜닝으로 80ms 스트리밍 WER 32%·31% 개선(그리스어 35→24)
• •att_context_size로 80ms~1.12s 지연-정확도 지점을 재학습 없이 추론 시점에 선택 가능
• •다국어 모델 특화 시 다른 언어 일부를 리플레이로 섞어 성능 저하 방지, 저자원 언어에서 효과 최대