스플릿러닝에서는 클라이언트가 텍스트를 서버로 보내지 않고 초반 레이어의 출력(활성값)만 전송하는데, 연구진은 이 활성값만으로도 공격자가 원문 텍스트 대부분을 복원할 수 있음을 보였다. GPT-2 실험에서 공개된 클라이언트 레이어 가중치만 가진 공격자는 활성값만으로 토큰의 94.20%를 복원했고, 서버가 보내는 그래디언트까지 확보하면 97.38%로 3.17퍼센트포인트 더 올라갔다. 문서 단위로 보면 차이가 훨씬 커서, 32토큰 문서를 완전히 복원하는 비율이 그래디언트 없이는 13.71%였지만 그래디언트를 더하면 37.77%로 뛰었다. '시크릿 믹스업' 방어기법을 적용하면 문서 전체 복원은 거의 막을 수 있지만 토큰 단위로는 여전히 83에서 91퍼센트가 새어나가, 연구진은 스플릿러닝에서 전송되는 값을 원문 텍스트 자체와 동등하게 민감한 정보로 취급하고 토큰·문서 단위 유출률을 함께 보고해야 한다고 권고한다.
- •GPT-2 스플릿러닝에서 활성값만으로 토큰 94.20%를 복원, 그래디언트를 더하면 97.38%로 상승했다
- •32토큰 문서 완전복원율은 그래디언트 없이 13.71%, 그래디언트를 더하면 37.77%로 증가했다
- •시크릿 믹스업 방어를 적용해도 토큰 단위로는 83~91%가 여전히 유출된다
- •연구진은 전송값을 원문 텍스트와 동등하게 민감한 정보로 다루라고 권고한다
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document
- 1.분할학습(split learning)에서 서버가 보는 중간활성값만으로도 클라이언트 텍스트 대부분을 복원할 수 있음을 실증
- 2.GPT-2 기준 활성값만으로 토큰 94.20% 복원, 그래디언트까지 더하면 97.38%로 상승
- 3.문서 단위 완전복원은 그래디언트 없이 13.71%, 있으면 37.77%로 격차가 훨씬 커짐
- 4.방어기법 'Secret mixup'은 완전 문서복원은 거의 막지만 토큰 단위로는 여전히 83~91% 복원 가능
왜 중요한가?
분할학습은 원문을 서버에 보내지 않아 프라이버시를 지킨다고 여겨졌는데, 전송되는 활성값과 그래디언트 자체가 원문만큼 민감한 정보를 담고 있음을 토큰·문서 단위로 정량화해 분할학습의 프라이버시 전제를 재검토하게 한다.
언급 프로젝트
스플릿 학습 환경에서 클라이언트의 원본 텍스트 데이터가 서버로 전송되지 않더라도, 학습 과정에서 교환되는 그래디언트를 통해 텍스트 정보가 유출될 수 있음을 분석한 연구입니다. 개인 정보 보호가 핵심인 한국의 데이터 활용 환경에서 스플릿 또는 연합 학습을 적용하는 기업들은 그래디언트 기반의 정보 유출 가능성을 심각하게 고려해야 하며, 이에 대한 추가적인 보안 강화 조치가 필수적임을 시사합니다.
본문 미리보기
arXiv:2610.04128v1 Announce Type: new Abstract: Split learning lets a client train a language model on a server without sending its text. The client runs the first layers itself and sends the server only their output, a vector of numbers for each token. During training, the server sends gradients back. We show that an observer at the split can rebuild most of the client's text from this traffic, and we measure how much the gradients help. On GPT-2, an attacker who holds only the publicly releas
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
