CONCORD는 비공개 문서는 기기에, 공개 지식은 클라우드에 남는 '문서 격리' 디바이스-클라우드 협업 RAG를 위한 비동기 희소 집계 프레임워크다. 원문 교환을 금지하는 프라이버시·정책 제약 아래 잦은 원격 동기화와 밀집 증거 전송이 처리량을 떨어뜨리는 문제에 대응해, 클라우드를 비동기적으로 도착하는 증거원으로 취급한다. 대기 이득을 관찰해 각 디코딩 단계가 원격 참여를 더 기다릴지 결정하는 '대기 부채 제어'와, 현재 그리디 결정을 판정하는 데 필요한 최소 원격 증거만 요청하는 '인증서 유도 최소 보충' 기법을 도입한다. Natural Questions와 WikiText-2에서 처리량을 각각 1.66배·2.15배 높이면서 토큰당 통신량을 두 자릿수 이상 줄이고 답변 품질을 유지했다.
- •문서 격리(기기-클라우드) RAG를 위한 비동기 희소 집계 프레임워크 CONCORD
- •클라우드를 연속 동기화 대신 비동기 도착 증거원으로 취급
- •대기 이득 기반 '대기 부채 제어'로 원격 참여 대기 여부 결정
- •'인증서 유도 최소 보충'으로 그리디 결정에 필요한 최소 원격 증거만 요청
- •NQ·WikiText-2서 처리량 1.66×·2.15× 향상, 토큰당 통신량 2자릿수 이상 감소, 품질 유지
CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation
본문 미리보기
arXiv:2606.15179v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) has emerged as a pivotal technique for improving language models by incorporating external knowledge at inference time. As device-cloud collaborative inference makes it feasible to deploy small language models on edge devices, a new setting arises in which private documents remain on the device and public knowledge resides in the cloud. Privacy and policy constraints often forbid raw document exchange, creating
전체 내용이 궁금하다면?
원문을 직접 읽어보세요