TTS 파운데이션 모델은 고도로 개인화된 음성을 합성하기 위해 프라이빗 데이터셋으로 점점 더 많이 미세조정되면서 생체 신원과 민감한 발화 내용을 노출하는 심각한 프라이버시 위험을 낳는다. 기존 블랙박스 멤버십 추론 공격(MIA)은 질의 생성과 표현 공학이라는 2단계 파이프라인을 따르지만 TTS에 적용하면 각각 고유한 어려움에 부딪힌다. 연구진은 화자 수준과 레코드 수준 모두를 겨냥한 TTS 전용 최초의 블랙박스 MIA 프레임워크를 제시했다. 질의 생성에서는 채점 가능성과 암기 유도라는 두 기준으로 다섯 가지 대표 질의를 평가해 낭독이 가장 강력함을 확인했고, 표현 공학에서는 임베딩 모델에서 다층 음성 표현을 얻고 생성 오디오와 목표 오디오를 시간적으로 정렬해 세밀하게 비교했다. CosyVoice2, F5-TTS, XTTS-v2 세 최신 TTS 모델을 두 벤치마크 데이터셋에 미세조정해 평가한 결과 화자 수준 AUC는 0.80 이상, 최강 설정에서는 1.0에 근접했고 레코드 수준 AUC는 0.80~0.90 범위로 회원과 비회원이 같은 화자인 어려운 시나리오에서도 효과가 유지됐다.
- •TTS 파운데이션 모델을 겨냥한 화자·레코드 수준 최초의 블랙박스 멤버십 추론 공격 프레임워크 제시
- •채점 가능성·암기 유도 두 기준으로 5개 질의를 평가해 낭독 질의가 가장 강력함을 확인
- •임베딩 모델 기반 다층 음성 표현과 시간 정렬로 세밀한 회원 신호 포착
- •CosyVoice2·F5-TTS·XTTS-v2 세 모델에서 화자 수준 AUC 0.80 이상, 최강 설정에서 1.0 근접
- •레코드 수준 AUC 0.80~0.90, 회원·비회원이 동일 화자인 어려운 상황에서도 공격 효과 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
- 1.개인 데이터셋으로 파인튜닝된 TTS 파운데이션모델이 생체정보·민감 발화를 노출할 프라이버시 위험 지적
- 2.TTS 특화 최초의 블랙박스 멤버십추론공격(MIA) 프레임워크 제시, 화자·레코드 수준 모두 대응
- 3.5개 대표질의 중 '암송'이 가장 강력함을 확인, 다층 음성표현과 시간정렬로 정밀 비교
- 4.3개 TTS 모델 평가 결과 화자수준 AUC 0.80이상, 레코드수준 AUC 0.80~0.90으로 심각한 유출 확인
왜 중요한가?
개인화 음성합성이 확산되는 가운데, 학습 데이터에 포함된 화자·발화 여부를 블랙박스만으로도 높은 정확도로 추론할 수 있음을 처음 실증해 TTS 파인튜닝 서비스의 프라이버시 리스크를 구체적으로 드러낸다.
언급 프로젝트
본문 미리보기
arXiv:2609.01723v1 Announce Type: new Abstract: Text-to-Speech (TTS) foundation models are increasingly fine-tuned on private datasets to synthesize highly personalized voices, introducing severe privacy risks by exposing both biometric identities and sensitive speech content. Existing black-box membership inference attacks (MIAs) follow a two-stage pipeline of query generation and representation engineering, both of which face unique challenges when adapted to TTS. For query generation, dual c
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
