ProxyDrift는 프라이버시 제약으로 원본 사용자 데이터를 직접 볼 수 없는 대규모 LLM 서비스에서, 실제 트래픽과 오프라인 평가셋 간 드리프트를 측정하고 평가셋을 갱신하는 프레임워크다. LLM 기반 분류로 얻은 비식별(non-PII) 다차원 프록시 표현만으로 작동하며, 상호정보량으로 차원별 드리프트를 집계하는 우연보정·중복인식(RA) 정합 점수, 차원 간 의존성을 보존하는 조건부 샘플러, 생성기·분류기 간 불일치를 드러내는 라운드트립 일관성 분석, 프록시 분포를 사용자 만족도와 연결하는 피드백 연계 분석을 도입했다. 수억 명 사용자를 대상으로 운영되며 민감정보 노출 없이 지속적 드리프트 모니터링과 표적 합성데이터 생성을 가능케 한다. 실험에서 강한 라운드트립 일관성, 합성 질의와 실제 질의 간 판별 불가능성, 실제 운영 데이터와의 긴밀한 정합(RA≈0.9)을 확인했다.
- •비식별 프록시 표현만으로 운영 트래픽-평가셋 드리프트를 측정하는 ProxyDrift 제안
- •상호정보량 기반 RA 정합 점수와 차원 간 의존성 보존 조건부 샘플러 도입
- •라운드트립 일관성 분석으로 생성기-분류기 불일치 파악, 프록시 분류체계 개선
- •수억 명 사용자 규모 서비스에서 RA≈0.9의 정합도 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations
본문 미리보기
arXiv:2608.08245v1 Announce Type: new Abstract: LLM applications deployed at scale face a fundamental challenge: privacy constraints prevent direct inspection of user interactions, making it difficult to obtain any representative evaluation dataset or to track the ongoing evolution of production traffic. We present ProxyDrift, a framework that (i) identifies and measures drift between production traffic and offline evaluation sets, and (ii) constructs and refreshes those evaluation sets accordi
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:59AI 초안
