RAG 시스템의 컨텍스트 리랭킹·프루닝을 협력 게임 이론으로 정식화한 Shapley Context Pruning(SCP)이 제안됐다. 컨텍스트를 협력 게임으로 모델링해 문장 단위 중요도를 Shapley 값 관점에서 귀속시키며, Deep Sets 구조로 순열 불변 가치 함수를 근사하고 사전학습 언어모델 임베딩과 pairwise margin ranking loss로 최적화한다. 몬테카를로 샘플링으로 학습·추론을 확장 가능하게 하면서 Top-K 순위 보존에 대한 이론적 오차 한계와 샘플 복잡도 보장을 제공한다. 지지 문장 재현율, Needle-in-a-Haystack, 장문 QA, 멀티홉 추론 실험에서 강력한 베이스라인과 대등한 성능을 보였다. 휴리스틱 손실 함수에 의존하던 기존 방식과 달리 해석 가능하고 수학적으로 엄밀한 프루닝 프레임워크라는 점이 특징이다.
- •컨텍스트를 협력 게임으로 모델링해 Shapley 값 관점의 문장 단위 중요도 귀속 체계 확립
- •Deep Sets 구조로 순열 불변 가치 함수를 근사, pairwise margin ranking loss로 학습
- •몬테카를로 샘플링 기반 효율화와 함께 Top-K 순위 보존의 이론적 오차 한계·샘플 복잡도 보장 제공
- •NIAH·장문 QA·멀티홉 추론 등에서 강력한 베이스라인과 대등한 다운스트림 QA 성능
Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning
- 1.컨텍스트를 협력 게임으로 모델링해 중요도를 귀속하는 Shapley Context Pruning(SCP) 제안
- 2.Deep Sets 구조로 문장 단위 순열 불변 가치함수 근사, 페어와이즈 마진 랭킹 손실로 학습
- 3.몬테카를로 샘플링으로 확장성 확보, Top-K 순위 보존에 대한 이론적 오차 한계 증명
- 4.NIAH·장문 QA·멀티홉 추론에서 강력한 베이스라인 대비 경쟁력 있는 QA 성능 확인
왜 중요한가?
휴리스틱 손실과 경험적 귀속에 의존하던 RAG 컨텍스트 재랭킹·프루닝에 게임이론 기반의 해석 가능한 통일 프레임과 이론적 보장을 부여했다. 긴 컨텍스트 비용을 줄이면서 근거 문장을 정확히 남겨야 하는 RAG 제품에 적용 여지가 있다.
본문 미리보기
arXiv:2607.16209v1 Announce Type: new Abstract: Context reranking and pruning have become essential for improving the efficiency of modern Retrieval-Augmented Generation (RAG) systems, yet an interpretable and unified framework remains underexplored. Previous work has primarily emphasized lexical retrieval, cross-encoder architectures, model distillation, and Low-Rank Adaptation (LoRA), mostly relying on heuristic loss functions and empirical attribution. This paper presents Shapley Context Pru
전체 내용이 궁금하다면?
원문을 직접 읽어보세요