딥페이크가 영상 전체가 아니라 의미가 바뀌는 몇 초만 조작하는 방식으로 진화하면서, 모든 1초 구간을 다 분석하는 기존 탐지기는 연산을 대부분 헛되이 쓰고 있다. ModalFidelity는 포렌식 탐지기를 돌리기 전에 각 구간을 미리 보고 어떤 스트림(오디오·영상)을 볼지 정해주는 경량 라우터로, 정해진 연산 예산을 절대 넘지 않는다. AV-Deepfake1M 데이터셋에서 구간의 최대 5분의 1만 읽고도 탐지 후 게이팅 방식보다 15.9배 적은 연산으로 더 높은 정확도를 달성했으며, 모든 위조 위치를 아는 오라클 대비 96% 이상의 정확도를 유지했다.
- •딥페이크가 영상 전체가 아닌 의미가 바뀌는 짧은 구간만 조작하는 방식으로 진화, 기존 전체 스캔 탐지기는 연산 낭비
- •ModalFidelity는 포렌식 탐지 전에 구간을 미리 보고 분석할 스트림을 고르는 경량 라우터, 연산 예산 상한 보장
- •AV-Deepfake1M에서 구간의 1/5만 읽고도 사후 게이팅보다 15.9배 적은 연산으로 더 높은 정확도
- •모든 위조 위치를 아는 오라클 대비 96% 이상의 정확도를 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
ModalFidelity: Routing Modalities for Deepfake Detection on a Budget
- 1.딥페이크가 영상 전체가 아닌 의미가 바뀌는 짧은 구간만 조작되는 추세에 대응하는 경량 라우터 ModalFidelity 제안
- 2.정밀 탐지기를 돌리기 전에 각 구간을 미리 훑어 오디오·영상 중 어느 스트림을 볼지 결정
- 3.AV-Deepfake1M에서 전체 구간의 최대 5분의 1만 읽고도 연산량 15.9배 절감하며 더 높은 정확도 달성
- 4.모든 위조 위치를 아는 오라클 대비 96% 이상의 정확도를 유지
왜 중요한가?
딥페이크 탐지의 연산 비용을 어디를 볼지 먼저 결정하는 방식으로 대폭 줄여, 실시간·대규모 콘텐츠 모더레이션에 딥페이크 탐지를 적용할 때의 비용 장벽을 낮춘다.
언급 프로젝트
본문 미리보기
arXiv:2609.38246v1 Announce Type: new Abstract: Deepfakes no longer need to fake a whole video. Generators that read the transcript now alter only the few seconds in which a video's meaning turns, so a forgery hides in a small, unknown fraction of the video. Yet detectors still read every one-second window of both the audio and image streams, spending nearly all of their compute where nothing was altered. We observe that deciding where to look is far cheaper than looking. We present ModalFideli
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
