CONCORD는 비공개 문서는 기기에, 공개 지식은 클라우드에 남는 '문서 격리' 디바이스-클라우드 협업 RAG를 위한 비동기 희소 집계 프레임워크다. 원문 교환을 금지하는 프라이버시·정책 제약 아래 잦은 원격 동기화와 밀집 증거 전송이 처리량을 떨어뜨리는 문제에 대응해, 클라우드를 비동기적으로 도착하는 증거원으로 취급한다. 대기 이득을 관찰해 각 디코딩 단계가 원격 참여를 더 기다릴지 결정하는 '대기 부채 제어'와, 현재 그리디 결정을 판정하는 데 필요한 최소 원격 증거만 요청하는 '인증서 유도 최소 보충' 기법을 도입한다. Natural Questions와 WikiText-2에서 처리량을 각각 1.66배·2.15배 높이면서 토큰당 통신량을 두 자릿수 이상 줄이고 답변 품질을 유지했다.
- •문서 격리(기기-클라우드) RAG를 위한 비동기 희소 집계 프레임워크 CONCORD
- •클라우드를 연속 동기화 대신 비동기 도착 증거원으로 취급
- •대기 이득 기반 '대기 부채 제어'로 원격 참여 대기 여부 결정
- •'인증서 유도 최소 보충'으로 그리디 결정에 필요한 최소 원격 증거만 요청
- •NQ·WikiText-2서 처리량 1.66×·2.15× 향상, 토큰당 통신량 2자릿수 이상 감소, 품질 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation
- 1.문서 격리 환경의 디바이스-클라우드 이중 RAG를 위한 CONCORD 프레임워크 제안
- 2.클라우드를 지속 동기화 대신 비동기로 도착하는 증거 소스로 처리
- 3.대기 부채 제어와 인증서 기반 최소 보강으로 필요한 원격 증거만 요청
- 4.NQ·WikiText-2에서 처리량 1.66×·2.15× 향상, 토큰당 통신량 100배 이상 감소
왜 중요한가?
개인 문서는 기기에, 공개 지식은 클라우드에 두는 프라이버시 제약 환경에서 잦은 원격 동기화와 밀집 증거 전송이 처리량을 제약하던 문제를, 그리디 결정에 필요한 증거만 비동기로 요청하는 방식으로 풀어 엣지 협업 RAG를 현실적 지연·대역폭에서 쓸 수 있게 했다.
언급 프로젝트
장치-클라우드 협업 환경에서 RAG(검색 증강 생성) 효율성을 높이는 이 기술은 국내 엣지 AI 및 온디바이스 AI 시장에서 중요한 의미를 가집니다. 데이터 고립을 유지하면서 소형 LLM을 효율적으로 배포하여 개인정보 보호와 성능을 동시에 강화할 수 있어, 다양한 산업 분야의 AI 솔루션 도입에 가속도가 붙을 것으로 기대됩니다.
본문 미리보기
arXiv:2606.15179v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) has emerged as a pivotal technique for improving language models by incorporating external knowledge at inference time. As device-cloud collaborative inference makes it feasible to deploy small language models on edge devices, a new setting arises in which private documents remain on the device and public knowledge resides in the cloud. Privacy and policy constraints often forbid raw document exchange, creating
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:49AI 초안
