이 논문은 언어모델의 '기억화(memorization)'와 '추출(extraction)' 위험이 실제로는 서로 다른 현상이며, 차등 프라이버시(DP) 하나로 둘 다 통제할 수 없음을 수학적으로 증명한다. f-DP 하에서 적응적 추출 성공확률의 정확한 상한을 도출하고, 반복 저장된 정보에 대해 기존에 쓰이던 단순 상한 공식이 실제로는 달성 불가능함을 보였다. 특히 손실 기반 감사 기법으로는 모델이 특정 정보를 기억하면서도 추출 불가능하거나, 반대로 완전히 추출 가능하면서도 감사에서는 안전하다고 오판되는 사각지대가 있음을 십억 파라미터급 모델 실험으로 확인했다. 예약된 트리거를 심은 모델이 단 한 번의 프롬프트로 원문을 그대로 노출했음에도 표준 감사 도구는 이를 안전하다고 인증해, 언러닝 검증과 프라이버시 감사 체계에 근본적 재검토가 필요함을 시사한다.
- •f-DP 하 적응적 추출 성공확률의 타이트한 상한을 최초로 도출, 사전 추측 난이도(min-entropy)로 방어선 계산 가능
- •k회 중복 저장된 정보의 기억화 상한은 기존 tanh(kε/2) 공식이 아니라 계단형 폐형식 함수로 정확히 규정
- •손실 기반 감사·언러닝 검증 도구가 놓치는 이중 사각지대 존재: 기억되지만 추출 불가, 혹은 추출 가능하지만 감사에서 안전 판정
- •예약 트리거 모델이 한 번의 프롬프트로 원문을 그대로 노출했음에도 실제 감사 도구는 이를 통과시킴을 십억 파라미터 모델에서 실증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
- 1.차등프라이버시(DP)가 '기억'과 '추출'라는 서로 다른 위험을 통제하지 못함을 이론적으로 규명
- 2.f-DP 하에서 적응적 추출 성공확률의 정확한 상한을 도출, 사전 추측 난이도에 좌우됨을 증명
- 3.반사실적 기억량의 정확한 DP 상한 도출, 순진한 k배 경계 tanh(kε/2)는 달성 불가능함을 증명
- 4.10억 파라미터급 모델에서 손실기반 감사가 놓치는 '기억되나 추출 안됨/그 반대' 사각지대 실증
왜 중요한가?
DP를 만능 프라이버시 방패로 여겨온 관행에 정면으로 반박하며, 실무에서 쓰이는 손실 기반 감사·언러닝 검증이 실제 데이터 유출을 놓칠 수 있음을 대규모 모델로 실증해 감사 방법론 재설계의 필요성을 제기한다.
LLM의 학습 데이터 기억(memorization) 문제는 국내에서도 민감한 개인 정보 유출의 잠재적 위험으로 간주되어 프라이버시 보호에 대한 우려를 낳습니다. 이 연구는 차등 프라이버시(DP)가 기억화에 제공하는 정확한 보호 범위를 명확히 하여, 국내 기업들이 LLM 기반 서비스를 구축할 때 데이터 프라이버시 위험을 보다 정확하게 평가하고 관리할 수 있도록 돕습니다. 이는 국내 AI 서비스의 개인 정보 보호 수준을 객관적으로 제시하고 관련 법규 준수를 위한 중요한 기준을 제공할 것입니다.
본문 미리보기
arXiv:2608.27782v1 Announce Type: new Abstract: Memorization in large language models is measured through a zoo of definitions whose formal relations are unknown, and differential privacy (DP) is treated as a proxy against all of them at once. We pin down the exact DP constant for the two that carry the practical weight, counterfactual memorization and adaptive extraction, and show that they do not control each other. Under $f$-DP, every adaptive extraction protocol with list budget $m$ succeed
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
