HumeAI 연구진은 공개 음성인식(ASR) 벤치마크에서 모델들이 실제 청취 능력이 아니라 벤치마크 자체에 최적화된 패턴을 학습해 점수가 부풀려지는 '벤치맥싱' 현상을 세 가지 검증법으로 정량화했다. VoxPopuli의 오류가 있는 정답 스크립트를 그대로 재현하는지 살펴본 결과, 청취 가능한 "Thank you"가 정답에서 빠진 경우 11개 모델 중 6개가 오디오와 어긋나는 정답을 그대로 베꼈고, 숫자를 인위적으로 지운 오디오에서도 일부 모델은 지워진 숫자(예: 2011년)를 그대로 복원해 냈다. 또한 VoxPopuli는 "Mr.", LibriSpeech는 "Mister"처럼 데이터셋마다 다른 철자 관행을 90%에 가까운 정확도로 구분해 맞추는 등, 모델이 음향적 단서로 어느 벤치마크인지 식별해 정답을 맞히는 정황이 드러났다. 훈련 마감 이후 새로 수집한 신선한 오디오에서는 이런 편향이 약해지거나 사라져, 낮은 단어 오류율로 표시되는 상위권 성능 상당 부분이 실제 전사 능력이 아니라 벤치마크 암기에서 비롯됐음을 시사한다.

• •VoxPopuli 정답 스크립트 오류(예: "Thank you" 누락)를 11개 모델 중 6개가 오디오와 무관하게 그대로 재현
• •숫자를 지운 오디오에서도 일부 모델이 지워진 숫자·연도를 그대로 복원(LibriSpeech 기준 30~40%)
• •데이터셋별 철자 관행("Mr." vs "Mister")을 최대 90% 정확도로 구분해 벤치마크 식별 정황 포착
• •훈련 마감 이후 신선한 오디오에서는 편향이 약화·소멸, WER 최상위 모델일수록 벤치마크 암기 의존도 높음