RAG를 위한 대규모 벡터 인덱스를 신뢰할 수 없는 클라우드에 위탁할 때 발생하는 프라이버시 문제를 다룬 논문이다. 기존 암호학적 보호 방식은 쿼리마다 코퍼스 전체 규모의 연산과 통신이 필요해 백만 문서 규모에서 수 분과 90GB 통신량이 소요됐다. 저자들은 압축 이진 코드로 표현을 학습해 2서버 MPC 환경에서 해밍 거리 계산만으로 후보를 추리는 Spruce를 제안했다. 코퍼스별 고정 반경 프로토콜로 다중 라운드 후보 선택을 없애고, 프라이빗 클러스터 프루닝과 원코어 딜러 구조로 클라우드 측 OT 전처리 병목을 제거했다. 383K~542만 문서 규모 4개 코퍼스에서 원본 검색 품질을 유지하면서도 기존 최적화 시스템 대비 4.8~6.7배 빠른 0.21~2.97초의 전체 스캔 속도를 달성했으며, 최대 코퍼스에서는 처리량을 31.5배 개선했다.
- •RAG용 대규모 벡터 인덱스를 신뢰할 수 없는 클라우드에 위탁할 때의 프라이버시 문제를 해결하는 Spruce 제안
- •압축 이진 코드와 2서버 MPC 기반 해밍 거리 계산으로 연산·통신 비용을 대폭 절감
- •코퍼스별 고정 반경 프로토콜로 다중 라운드 후보 선택 제거, 프라이빗 클러스터 프루닝 지원
- •383K~542만 문서 4개 코퍼스에서 기존 최적화 시스템 대비 4.8~6.7배 빠른 속도 달성
- •최대 코퍼스 기준 처리량 31.5배 개선, NDCG는 93.9~97.3% 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Spruce: Scalable Private Outsourced Retrieval Using Compact Embeddings
- 1.Spruce 공개, 압축 임베딩과 2서버 MPC를 결합해 대규모 프라이버시 보존 RAG 검색을 구현
- 2.코퍼스 단위 보정된 고정반경 프로토콜로 다중라운드 후보선정 없이 검색품질 유지
- 3.383K~542만 문서 코퍼스, 10Gbps 환경 전체스캔 0.21~2.97초로 기존 최적 대비 4.8~6.7배 빠름
- 4.프라이빗 클러스터 프루닝으로 13.1~22.9배 속도향상, NDCG 성능 93.9~97.3% 유지
왜 중요한가?
쿼리당 90GB에 달하던 안전검색의 통신비용을 대폭 줄여, 클라우드에 아웃소싱된 벡터 인덱스 위에서도 실용적인 프라이버시 보존 RAG를 가능하게 한다.
언급 프로젝트
RAG 모델 활용이 늘면서 기업의 민감한 데이터를 비신뢰 클라우드에 아웃소싱할 때 발생하는 개인정보 유출 우려가 커지고 있습니다. 이 연구는 암호학적 방법을 통해 이러한 데이터 유출을 방지하면서도 효율적인 검색을 가능하게 하여, 국내 기업들이 안전하게 RAG 기반 서비스를 구축하는 데 필요한 기술적 기반을 제시합니다.
본문 미리보기
arXiv:2609.03376v1 Announce Type: new Abstract: Retrieval-Augmented Generation (RAG) has made dense retrieval over large document collections a standard building block. Organizations increasingly outsource vector indexes to untrusted clouds, exposing proprietary corpora and user queries. Cryptographic protection is challenging because each query searches corpus-scale state, causing computation, correlated randomness, and communication to grow with the corpus. At million-document scale, a naive
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
