허깅페이스와 Voice Arena는 Open ASR Leaderboard에 힌디어와 인도 영어를 평가하는 첫 글로벌 사우스 언어 벤치마크 Monsoon을 추가했다. 4,888명의 화자를 대상으로 지역·연령·성별·기기·환경 등 9개 축을 따라 다양성을 확보한 데이터셋으로, 힌디어는 정해진 철자 규범이 없는 구어 특성을 반영해 단일 정답 대신 허용 가능한 표기 변이를 모두 인정하는 격자(lattice) 기반의 OIWER 지표를 새로 도입했다. 실험 결과 전체 점수는 거의 동일한 모델들이 지역별로 나누어 보면 편차가 최대 4배까지 벌어졌고, 어떤 지역이 가장 어려운지도 모델마다 달라 문제가 오디오가 아니라 모델 자체에 있음을 시사했다. 단일 참조 표기 대신 격자로 채점하면 순위가 뒤바뀌는 사례도 확인돼, 집계된 단일 지표가 실제 성능 편차를 가려온 문제를 드러냈다.

• •Open ASR Leaderboard에 힐디어·인도 영어 벤치마크 Monsoon을 추가, 첫 글로벌 사우스 언어 편입
• •4,888명 화자, 428개 지역구, 9개 다양성 축으로 설계된 화자 분산형 데이터셋
• •힐디어의 표기 다양성을 반영한 격자 기반 OIWER 지표를 새로 도입
• •전체 WER이 비슷한 모델도 지역별로는 최대 4배 편차, 원인이 오디오가 아닌 모델임을 시사
• •단일 참조 대신 격자로 채점하면 모델 순위가 뒤바뀌는 사례를 확인해 집계 지표의 한계를 노출