파인튜닝된 이산 확산 언어모델(dLLM)을 대상으로 단일 패스 멤버십 추론 공격(MIA) 'JUMP'가 제안됐다. dLLM은 임의 마스크 집합을 골라 모든 마스크 위치의 토큰 분포를 병렬로 얻을 수 있는데, JUMP는 any-order 디코딩으로 참조 모델 신뢰도가 낮은 위치를 선별하고 병렬 디코딩으로 해당 위치들을 한 번의 조인트 마스크 질의로 채점해 타깃/참조 재구성 격차 통계를 계산한다. 파인튜닝된 LLaDA-8B-Base와 6개 MIMIR 도메인에서 기존 공격 SAMA의 평균 ROC-AUC 0.82를 0.90으로 끌어올렸고, 낮은 FPR 구간 탐지도 크게 개선하면서 모델당 선택·채점 각 1회 패스만 요구한다. 확산 언어모델의 병렬 디코딩 특성이 학습 데이터 유출 위험을 오히려 키울 수 있음을 보여 프라이버시 감사에 시사점이 크다.
- •dLLM의 any-order·병렬 디코딩 특성을 모두 활용한 단일 패스 멤버십 추론 공격
- •참조 모델 신뢰도가 낮은 위치를 선별해 한 번의 조인트 마스크 질의로 일괄 채점
- •LLaDA-8B-Base·6개 MIMIR 도메인에서 평균 ROC-AUC 0.82→0.90으로 기존 SAMA 공격 대비 개선
- •다수 질의가 필요했던 SAMA와 달리 모델당 선택 1회·채점 1회 패스만 요구
- •확산 언어모델의 구조적 특성이 학습 데이터 프라이버시 위험을 키울 수 있음을 시사
JUMP: Single-Pass Membership Inference on Fine-Tuned Diffusion Language Models
- 1.확산 언어모델(dLLM) 파인튜닝 데이터 대상 단일 패스 멤버십 추론 공격 JUMP 제안
- 2.임의 순서 디코딩으로 저확신 위치를 골라 병렬로 한 번에 점수화, 쿼리 수 대폭 절감
- 3.LLaDA-8B 파인튜닝 모델·MIMIR 6개 도메인에서 평균 ROC-AUC 0.82→0.90으로 기존 SAMA 능가
- 4.저FPR 구간 탐지도 크게 개선, 셀렉터·스코어링 각 1회 패스만 필요
왜 중요한가?
dLLM 고유의 임의 순서·병렬 디코딩 특성이 오히려 학습 데이터 유출 탐지를 쉽게 만든다는 점을 보여, 확산 기반 LLM이 확산될수록 파인튜닝 데이터의 프라이버시 감사와 방어가 새 과제로 떠오름을 시사한다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.16207v1 Announce Type: new Abstract: Membership inference attacks (MIAs) test whether a candidate example appeared in a model's training data. We study MIAs for fine-tuned discrete diffusion language models (dLLMs), where membership means inclusion in the target model's fine-tuning set. Unlike autoregressive language models, dLLMs allow an attacker to choose arbitrary mask sets and obtain token distributions for all masked positions in parallel. The prior dLLM attack, SAMA, follows a
전체 내용이 궁금하다면?
원문을 직접 읽어보세요