In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning | AIChainDay

한국어 요약by Claude · 2026. 9. 12.

이 연구는 검색된 문서 일부가 오염됐을 때 소형 양자화 모델(Llama 3.1 8B) 기반 RAG 시스템의 정확도가 얼마나 떨어지는지 측정했다. 개체명 교체, 숫자 교체, 부정문 삽입 세 가지 오염 기법을 FEVER 기반 팩트체크 과제에 적용해 588개 실험을 진행한 결과, 정확도는 깨끗한 컨텍스트의 77.9%에서 세 문서 모두 오염됐을 때 43.5%까지 떨어졌다. 개체명 교체가 정답을 가장 많이 뒤집었고, 모델은 새로운 허위 정보를 만들어내기보다 답변을 회피하는 경향을 보였다. 이는 RAG의 신뢰성 확보를 위해 검색 문서의 무결성 검증이 중요함을 시사한다.

•오염된 검색 문서 비율이 늘수록 정확도가 77.9%에서 43.5%까지 급락
•개체명 교체 공격이 정답을 뒤집는 효과가 가장 큼
•모델은 허위 정보를 새로 생성하기보다 답변을 회피하는 방향으로 반응
•588회 실험을 통한 체계적 오염 비율별 정확도 저하 패턴 분석

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 10일AI 점수: 85%

In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning

출처:arXiv cs.CR (암호학·보안)

AI 인사이트

개발자

1.Llama 3.1 8B 양자화 모델로 검색 문서 오염 시 RAG 정확도 저하를 588회 실험으로 측정
2.FEVER 기반 사실검증에서 정확도가 정상 77.9%에서 3개 문서 모두 오염 시 43.5%로 급락
3.개체명 치환(entity swap) 공격이 정답을 가장 많이 뒤집었고, 숫자 치환은 오염 문서가 과반일 때만 급격히 영향
4.모델은 새로운 거짓을 지어내기보다 답변을 회피하는 경향이 지배적으로 나타남

왜 중요한가?

RAG가 환각을 줄이는 대신 검색 문서 오염이라는 새로운 공격면을 만든다는 점을 정량적으로 보여줘, 문서 QA·챗봇 등 RAG 기반 제품에서 검색 소스 신뢰성 검증이 필수적임을 시사한다.

언급 프로젝트

Llama 3.1 FEVER

본문 미리보기

arXiv:2609.09243v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) grounds a language model in retrieved documents, which reduces hallucination but creates a new attack surface: if retrieved text is tampered with, the model may repeat the falsehood. We study how much a small quantized model, Llama 3.1 8B, degrades when a fraction of its retrieved context is poisoned. Three corruption strategies are tested, entity swap, number swap, and negation, each applied to zero, one, two,

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기