순차적 다중 에이전트 LLM 파이프라인에서 초기 단계의 환각이 검증 없이 전달되며 원시 수치→파생 계산→서술문→최종 승인된 결론으로 형태를 바꾸고, 그때마다 탐지가 급격히 어려워지는 '환각 눈덩이 효과'를 규명했다. 금융 분석 4단계 파이프라인에 346건의 환각을 주입한 실험에서 GPT-4o의 탐지율은 1단계 72.0%에서 4단계 50.9%로 떨어졌고, 23.7%는 끝내 탐지되지 않았다. 최상위 모델(Qwen3.5-397B-A17B)조차 구조적 한계로 4단계 탐지율이 60~65%에 그칠 것으로 추정된다. 반면 각 단계 경계마다 검증을 두면 생존율이 58.4%에서 16.2%로 낮아져, 검증은 '하는지'보다 '언제 하는지'가 더 중요함을 보여준다.
- •환각이 4단계(원시사실→파생→서술→불가시)를 거치며 탐지 확률이 급격히 감소
- •단계별 이탈 확률 24.6%, 48.3%, 89.3%로 갈수록 은폐가 심화
- •GPT-4o 탐지율 1단계 72.0%→4단계 50.9%, 23.7% 완전 미탐지
- •경계마다 검증 시 생존율 58.4%→16.2%, 끝단 검증만으로는 2.3%p 개선에 그침
- •초기 단계(S1→S2) 검증 투자가 가장 효과적, 75.4%가 아직 포착 가능
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Hallucination Snowball: Modeling Error Propagation as State Transitions in Multi-Agent LLM Pipelines
- 1.다단계 LLM 파이프라인서 1단계 환각이 4단계 거치며 탐지율 72%→50.9%로 하락, 최종 23.7% 미탐지 잔존
- 2.최상위 모델(Qwen3.5-397B)도 4단계 탐지율 60~65%에 그쳐 구조적 한계 확인
- 3.경계마다 검증 배치 시 환각 생존율 58.4%→16.2%로 급감, 끝단 검증만은 개선폭 2.3%p 불과
왜 중요한가?
검증을 어디서 하느냐가 검증 여부 자체보다 중요하다는 발견은, 금융분석 등 다단계 에이전트 파이프라인을 운영하는 기업에 검증 자원을 초기 단계에 집중 배치해야 한다는 구체적 설계 지침을 제공한다.
본문 미리보기
arXiv:2608.14588v1 Announce Type: new Abstract: Sequential multi-agent LLM pipelines chain specialized agents without verification at handoffs, creating a structural flaw with measurable and severe consequences. We show that hallucinations injected at Stage 1 do not merely persist; they transform: raw numerical facts become derived computations, then narrative prose, then editorially approved conclusions. At each transformation, detectability degrades near-irreversibly. We formalize this as the
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:59AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
