RAG 시스템의 컨텍스트 리랭킹·프루닝을 협력 게임 이론으로 정식화한 Shapley Context Pruning(SCP)이 제안됐다. 컨텍스트를 협력 게임으로 모델링해 문장 단위 중요도를 Shapley 값 관점에서 귀속시키며, Deep Sets 구조로 순열 불변 가치 함수를 근사하고 사전학습 언어모델 임베딩과 pairwise margin ranking loss로 최적화한다. 몬테카를로 샘플링으로 학습·추론을 확장 가능하게 하면서 Top-K 순위 보존에 대한 이론적 오차 한계와 샘플 복잡도 보장을 제공한다. 지지 문장 재현율, Needle-in-a-Haystack, 장문 QA, 멀티홉 추론 실험에서 강력한 베이스라인과 대등한 성능을 보였다. 휴리스틱 손실 함수에 의존하던 기존 방식과 달리 해석 가능하고 수학적으로 엄밀한 프루닝 프레임워크라는 점이 특징이다.
- •컨텍스트를 협력 게임으로 모델링해 Shapley 값 관점의 문장 단위 중요도 귀속 체계 확립
- •Deep Sets 구조로 순열 불변 가치 함수를 근사, pairwise margin ranking loss로 학습
- •몬테카를로 샘플링 기반 효율화와 함께 Top-K 순위 보존의 이론적 오차 한계·샘플 복잡도 보장 제공
- •NIAH·장문 QA·멀티홉 추론 등에서 강력한 베이스라인과 대등한 다운스트림 QA 성능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning
- 1.컨텍스트를 협력 게임으로 모델링해 중요도를 귀속하는 Shapley Context Pruning(SCP) 제안
- 2.Deep Sets 구조로 문장 단위 순열 불변 가치함수 근사, 페어와이즈 마진 랭킹 손실로 학습
- 3.몬테카를로 샘플링으로 확장성 확보, Top-K 순위 보존에 대한 이론적 오차 한계 증명
- 4.NIAH·장문 QA·멀티홉 추론에서 강력한 베이스라인 대비 경쟁력 있는 QA 성능 확인
왜 중요한가?
휴리스틱 손실과 경험적 귀속에 의존하던 RAG 컨텍스트 재랭킹·프루닝에 게임이론 기반의 해석 가능한 통일 프레임과 이론적 보장을 부여했다. 긴 컨텍스트 비용을 줄이면서 근거 문장을 정확히 남겨야 하는 RAG 제품에 적용 여지가 있다.
RAG(검색 증강 생성) 시스템의 효율성과 해석 가능성을 높이는 Shapley Context Pruning 접근법은 국내 LLM 애플리케이션 개발에 중요한 시사점을 제공합니다. 방대한 한국어 데이터셋에서 필요한 정보를 정확하고 효율적으로 검색하고 재정렬하는 것은 국내 기업들이 더욱 신뢰성 높고 비용 효율적인 AI 서비스를 구축하는 데 필수적입니다. 이는 RAG 기반의 AI 서비스가 직면한 컨텍스트 처리의 한계를 극복하는 데 기여할 수 있습니다.
본문 미리보기
arXiv:2607.16209v1 Announce Type: new Abstract: Context reranking and pruning have become essential for improving the efficiency of modern Retrieval-Augmented Generation (RAG) systems, yet an interpretable and unified framework remains underexplored. Previous work has primarily emphasized lexical retrieval, cross-encoder architectures, model distillation, and Low-Rank Adaptation (LoRA), mostly relying on heuristic loss functions and empirical attribution. This paper presents Shapley Context Pru
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
