LLM 워터마크는 생성 텍스트의 출처를 추적하게 해주지만, 워터마크 정보를 복원하는 탈취 공격, 신호를 제거하는 스크러빙 공격, 워터마크가 있는 것처럼 위조하는 스푸핑 공격에 노출되어 있다. 그간 이 세 공격은 개별적으로 연구되어 상호 연관성이 불분명했고, 평가 방식도 탐지기 보정·지표 정의·보고 프로토콜이 통일되지 않은 상태였다. 연구진은 세 공격 유형을 통합 분석하는 프레임워크 MarkSec을 제안하고, 공격 성공률과 텍스트 품질을 함께 평가하는 품질 제약형 공격 성공 지표를 도입했다. 다양한 워터마크 계열·공격·LLM·데이터셋 실험 결과, 워터마크 제거 능력만으로 최강으로 보이던 공격이 텍스트 품질까지 요구하면 일반 재작성 기법에 뒤처지고, 특정 워터마크 계열에서는 탈취 기반 스크러버가 최선의 일반 스크러빙 기법보다 품질 조건 하에서 오히려 성능이 떨어졌다. 즉 겉보기 최강 공격의 순위가 텍스트 품질 제약과 공격 범용성, 공격자 능력 가정에 따라 뒤바뀔 수 있음을 보여준다.
- •워터마크 탈취·스크러빙·스푸핑 공격을 통합 평가하는 MarkSec 프레임워크 제안
- •공격 성공률과 텍스트 품질을 동시 평가하는 품질 제약형 공격 성공 지표 도입
- •워터마크 제거만으로 최강으로 보이던 공격이 품질 조건 부과 시 일반 재작성 기법보다 뒤지는 경우 발견
- •특정 워터마크 계열에서는 탈취 기반 스크러버가 품질 조건하에서 일반 스크러빙 베이스라인보다 저조
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MarkSec: Capability-Aware Evaluation of Adversarial Attacks Against LLM Watermarks
- 1.LLM 워터마크에 대한 탈취·제거·위조 공격을 통합 평가하는 프레임워크 MarkSec 제안
- 2.공통 리포팅 프로토콜과 품질 제약형 공격 성공 지표로 효과성·텍스트 품질을 동시 측정
- 3.워터마크 제거력만으로 최강처럼 보이던 공격이 품질 기준을 더하면 일반 재작성 공격에 뒤철임을 발견
- 4.일반 재작성이 워터마크 계열 전반에서 강력한 기준선으로 확인, 탈취 기반 공격은 품질 요건 하에선 열세
왜 중요한가?
AI 생성물 판별의 핵심 수단인 워터마크를 무력화하는 공격들이 서로 다른 기준으로 평가돼 왔는데, 통일된 잣대로 재평가하면 실제 위협 순위가 달라진다는 점은 워터마크 방어 설계와 정책 논의에 직접 영향을 준다.
언급 프로젝트
LLM 워터마크 기술은 생성형 AI 콘텐츠의 출처를 추적하고 신뢰성을 확보하는 데 중요하며, 국내에서도 가짜 뉴스 방지 및 저작권 보호 차원에서 주목받고 있습니다. 이 연구는 워터마크 기술에 대한 다양한 공격 유형을 분석하여, 국내 관련 기술 개발자들이 보다 견고한 워터마크 시스템을 설계하고 구현하는 데 실질적인 가이드라인을 제공합니다.
본문 미리보기
arXiv:2609.16681v1 Announce Type: new Abstract: LLM watermarking helps trace the origin of generated text, but faces stealing attacks that recover watermark information, scrubbing attacks that remove watermark signals, and spoofing attacks that forge text accepted as watermarked. These attacks are often studied in isolation, leaving their connections unclear. Evaluations also often lack shared detector calibration, metric definitions, and reporting protocols. Moreover, measuring attack success
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

