이 연구는 2019·2022·2024년에 출시된 3종의 음성합성 도구로 만든 딥페이크 오디오를 IT 전문가 82명과 6개 사전학습 탐지 모델이 얼마나 잘 구분하는지 비교했다. 완전 합성 음성의 경우 딥페이크 존재를 미리 경고받았음에도 F1 점수가 RTVC·YourTTS의 약 90%에서 ElevenLabs의 48%로 크게 떨어졌으며, 한 문장만 조작한 부분 스푸핑에서는 엄격 기준 정확도가 9%까지 낮아지고 청취자의 77%가 조작된 문장을 진짜로 분류했다. 인간과 탐지기는 서로 다른 방식으로 실패해 어느 쪽도 짧은 조작 구간을 안정적으로 찾아내지 못했으며, 청취자들이 진짜 음성마저 가짜로 오인하는 경향이 늘어 정상 오디오에 대한 신뢰까지 훼손되는 것으로 나타났다.

• •2024년형 ElevenLabs 합성음, 완전 합성 딥페이크 탐지 F1 점수가 90%→48%로 급락
• •부분 스푸플(문장 일부 조작) 시 엄격 정확도 9%, 청취자 77%가 가짜를 진짜로 오인
• •인간과 AI 탐지기가 서로 다른 방식으로 실패, 짧은 조작 구간 안정적 탐지 불가
• •진짜 음성도 가짜로 오인하는 경향 증가로 정상 오디오 신뢰까지 훼손