Hume AI가 음성 AI의 '인간다운 품질'을 평가하는 벤치마크 Real World VoiceEQ를 공개했다. 기존 벤치마크가 지연시간·단어 오류율 중심으로 포화 상태에 이른 반면, 이 벤치마크는 톤·감정·화자 정체성·배경 맥락 등 전사에서 빠지는 음향 정보를 다룬다. 40개 이상 음성 모델을 15개 이상 평가 차원, 60개 이상 지표로 측정했으며, TTS 78만 5천 건 등 100만 건 이상의 인간 평가를 수집했다. TTS에서 8개 역량 그룹 전부 상위 5위에 든 단일 모델은 없었고, 음성 대 음성 모델 다수가 오디오에 접근하면서도 망설임·어조 같은 준언어 신호를 놓치는 전사 의존 상태였다. 일부 모델의 공개 벤치마크 과최적화 정황도 발견돼, 음성 AI 평가에서 인간 평가의 필요성을 뒷받침한다.

• •40여 개 모델을 15개 이상 차원·60개 이상 지표로 평가, 인간 평가 100만 건 이상 기반
• •TTS 8개 역량 그룹 전부에서 상위 5위에 든 단일 모델 없음 — '최고' 모델의 부재
• •S2S 모델 다수가 오디오 접근에도 불구 준언어 신호를 놓치는 전사 의존 상태
• •잡음 배경 전사 오류율이 음악 배경보다 약 4배 — 단일 점수가 숨기는 실패 모드 입증
• •일부 모델이 참조 전사의 오류까지 재현 — 공개 벤치마크 과최적화 정황