기존 LLM 워터마킹은 모델 소유자가 통제하는 API를 통해 생성된 텍스트에서만 작동해, 모델 가중치가 유출되면 무력화되는 한계가 있었다. 연구진은 이 문제를 해결하기 위해 희소 전문가 혼합(MoE) 모델의 구조적 특성을 활용하는 새로운 워터마킹 기법 'WoE(Watermarking of Experts)'를 제안했다. WoE는 특정 전문가 모듈의 어휘 분포를 편향시켜 워터마크 신호를 모델 파라미터 자체에 내재시킴으로써, 가중치 탈취나 유출된 체크포인트에서 생성된 텍스트도 추적할 수 있게 한다. 8개 MoE 모델에 대한 실험에서 위양성률 1% 기준 평균 90.1%, 최대 94.9%의 진양성률을 달성했으며, 적대적 미세조정이나 모델 추출, 패러프레이징 공격에도 탐지 가능성을 유지했다.

• •기존 워터마킹은 모델 소유 API로 생성된 텍스트에만 작동해 가중치 유출 시 무력화되는 한계가 있었다.
• •WoE는 MoE 모델의 특정 전문가 모듈 어휘 분포를 편향시켜 워터마크를 파라미터에 내재시킨다.
• •8개 MoE 모델 실험에서 위양성률 1% 기준 평균 90.1%, 최대 94.9%의 탐지 성능을 보였다.
• •적대적 미세조정, 모델 추출, 출력 패러프레이징 공격에서도 워터마크 탐지가 유지됐다.