딥페이크 연구가 사기·허위정보 같은 '진실성 훼손' 피해에 집중하는 동안, 실제 생성형 AI 악용의 대부분을 차지하는 AI 생성 비동의 성적 이미지(AIG-NCII)는 기술 연구에서 사실상 방치되고 있다는 포지션 논문이다. 고인용 논문 전수 분석 결과 딥페이크 대응 기술 개입은 거의 전부 진위 탐지 도구에 머물러, 피해 당사자의 존엄성 피해(subject-centric harm)를 다루지 못한다고 지적한다. 이미지가 합성임을 아는 것만으로는 피해자 고통이 줄지 않으며 오히려 악화될 수 있음을 보인다. 위협 모델에 당사자 중심 피해를 반영하고 AI 안전 연구에 AIG-NCII를 포함하되, 성폭력 예방 전문가와의 협업과 안전장치 없이는 이 고위험 영역에 진입하지 말라고 권고한다.
- •딥페이크 기술 연구는 진위 탐지 중심으로, 생성형 AI 악용의 지배적 형태인 AIG-NCII를 거의 다루지 않음을 고인용 논문 분석으로 입증
- •기존 개입은 사기 등 '시청자 중심' 인식적 피해에 초점, 피해 당사자의 존엄성 피해는 사각지대
- •합성 여부를 알려주는 탐지 기술은 피해자 고통을 완화하지 못하며 경우에 따라 악화 가능
- •위협 모델 갱신과 AI 안전 연구 내 AIG-NCII 편입 등 연구 방향 재정렬 권고
- •연구자·피해자 보호 장치와 성폭력 예방 전문가 협업을 전제로만 연구 수행할 것을 경고
Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
본문 미리보기
arXiv:2607.18263v1 Announce Type: new Abstract: AI-generated non-consensual intimate imagery (AIG-NCII) is not adequately addressed in AI/ML literature regarding AI-generated media, commonly referred to as "deepfakes". While research on deepfakes currently focuses on its epistemic harms -- or harms relating to truth and authenticity -- this is misaligned with the dominant reality of generative AI abuse involving sexualized imagery. We conduct a landscape analysis of highly-cited works to demons
전체 내용이 궁금하다면?
원문을 직접 읽어보세요