검색증강생성(RAG)은 외부 문서로 답변의 사실성을 높이지만, 지식 데이터베이스에 주입된 악성 문서가 컨텍스트에 섞여 모델을 의도된 오답으로 유도할 수 있다는 취약점을 안고 있다. 기존 방어는 지시 따르기, 파라미터 지식, 텍스트 일관성에 의존해 적응형 공격자가 이를 모방하거나 최적화로 우회할 수 있었다. 연구진은 훈련이나 라벨이 필요 없는 블랙박스 RAG용 방어 'RAGSentinel'을 제안하는데, 대리 인코더로 검색 문서가 유발하는 질의 조건부 은닉상태 변화를 측정하고 공유 주제 방향을 제거한 뒤 강건한 다수결 합의에서 벗어난 기하학적 이상치를 오염 문서로 걸러낸다. 정직한 다수 가정과 표현 수준 분리 조건 아래 오염 없는 다수 규모의 컨텍스트를 정확히 복원함을 증명했으며, 3개 QA 데이터셋·3개 LLM 계열·여러 중독 공격 실험에서 낮은 공격성공률과 경쟁력 있는 정확도를 유지하고 적응형 공격에도 효과를 유지했다.
- •RAG는 지식 DB에 주입된 악성 문서로 의도된 오답을 유도당할 수 있는 취약점 보유
- •훈련·라벨 불필요한 블랙박스 방어 'RAGSentinel', 은닉상태 변화 기반 기하학적 이상치 탐지
- •정직한 다수 가정 하에 오염 없는 다수 규모 컨텍스트 정확 복원을 이론적으로 증명
- •3개 QA 데이터셋·3개 LLM·다중 중독 공격 실험에서 적응형 공격에도 낮은 공격성공률 유지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
RAGSentinel: Certifiable Geometric Consensus for Robust Retrieval-Augmented Generation
- 1.RAG 지식베이스 오염 문서 문제에 대응하는 학습불필요·블랙박스 방어 RAGSentinel 제안
- 2.대리 인코더로 은닉상태 변화 측정, 공통주제 제거 후 다수결에서 벗어난 이상치를 오염문서로 필터링
- 3.정직다수·표현수준 분리 조건 하에서 오염없는 다수 컨텍스트를 정확히 복원함을 이론적으로 증명
- 4.3개 QA셋·3개 LLM·다양한 포이즈닝 공격에서 낮은 ASR 유지, 적응형 공격에도 효과적
왜 중요한가?
블랙박스 RAG 시스템에 이론적 보장을 갖춘 방어를 제시해 지식베이스 오염 공격에 실질적 대응책을 제공한다.
언급 프로젝트
검색 증강 생성(RAG) 모델의 신뢰성 확보를 위한 이 연구는 국내 LLM 서비스의 안정적인 운영에 매우 중요합니다. 적대적 문서 주입으로 인해 LLM이 잘못된 정보를 생성할 위험이 커지는 상황에서, RAGSentinel은 정보의 정확성과 보안을 동시에 강화하는 방안을 제시합니다. 국내 기업들은 AI 기반 지식 검색 시스템 구축 시, 이러한 보안 취약점 방어 기술을 필수로 고려해야 합니다.
본문 미리보기
arXiv:2608.23965v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) improves the factuality of large language models by grounding responses in external documents, but it also exposes a critical security vulnerability: adversarial documents injected into the knowledge database can enter the context window and steer the model toward targeted incorrect answers. Existing post-retrieval defenses rely on instruction following, parametric knowledge, or text-level consistency, all of w
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
