이 논문은 잠재 확산모델(LDM) 이미지의 안전장치로 여겨지는 시맨틱 워터마킹이, 탐지 파이프라인이 신경망에 의존한다는 점에서 백도어 공격에 취약할 수 있음을 보인다. 연구진이 제안한 GhostVAE는 VAE 인코더에 은밀한 백도어를 심어 워터마크 탐지를 회피하게 만드는 공격으로, 먼저 파워 스펙트럼 정규화로 강건한 범용 트리거를 만들고 이어 매개변수 정렬 목적함수로 백도어가 심긴 인코더를 학습시키는 2단계로 동작한다. 3가지 최신 시맨틱 워터마킹 기법과 3가지 널리 쓰이는 LDM에 대한 광범위한 평가에서, GhostVAE는 정상 이미지에 대해서는 평균 94.4%의 워터마크 탐지 성능(참양성률)을 그대로 유지하면서도, 트리거가 활성화되면 평균 94.6%의 공격 성공률로 탐지를 회피했다. 17가지 대표적 방어 기법을 분석한 결과 GhostVAE는 입력·매개변수·잠재 공간 전반에서 은밀성을 유지하는 것으로 나타나, 시맨틱 워터마킹 시스템의 신뢰성을 근본적으로 흔드는 결과로 평가된다.

• •LDM 워터마크 탐지가 신경망에 의존한다는 점을 노린 백도어 공격 GhostVAE 제안
• •파워 스펙트럼 정규화로 범용 트리거 생성 후 매개변수 정렬 학습으로 백도어 삽입
• •정상 이미지 워터마크 탐지율 평균 94.4% 유지하면서 트리거 시 공격 성공률 94.6%
• •3개 워터마킹 기법·3개 LDM에서 검증, 17가지 방어 기법에도 은밀성 유지
• •시맨틱 워터마킹의 안전한 배치에는 신경망 구성요소 포함 종단간 보안 고려 필요성 제기