LLM 에이전트는 새로운 독립적 증거를 얻지 않고도 그래프상의 더 많은 경로를 따라갈 수 있는데, GraphEcho는 에이전트가 이런 반복적 경로 재방문을 추가 증거로 착각하는지 검증하는 벤치마크다. 증거 내용은 고정한 채 경로 수와 증거 출처만 변화시켜 판단과 능동 탐색을 함께 평가한 결과, 통제된 합성 실험에서 판단은 모델마다 다르게 변했지만 중복 경로가 늘수록 반복 방문 비율이 모든 고정형(frozen) 에이전트에서 증가했다. 출처를 고려하도록 후속 학습한 PAPT(Provenance-aware post-training)는 재방문을 줄이고 합성 데이터 정확도를 높였지만 다루는 고유 출처 수는 오히려 줄었고, 실제 과학 주장에서는 반복은 계속 줄였지만 정확도는 오히려 떨어졌다. 이는 효율적 탐색과 효과적 증거 활용 사이에 간극이 있음을 보여준다: 에이전트가 스스로 반복을 멈추는 법은 배우지만 정작 필요한 정보는 놓칠 수 있다.
- •GraphEcho 벤치마크로 LLM 에이전트가 경로 재방문을 추가 증거로 착각하는지 검증
- •중복 경로가 늘어날수록 모든 평가 대상 에이전트에서 반복 방문 비율 증가
- •출처 인지 후속학습(PAPT)은 합성 데이터에서 재방문 감소·정확도 향상을 보이나 다루는 출처 수는 감소
- •실제 과학 주장 평가에서는 PAPT가 반복은 줄여도 정확도는 오히려 하락
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
GraphEcho: Structural Redundancy and Evidence Provenance in LLM Graph Agents
- 1.LLM 그래프 에이전트가 같은 증거를 반복 경유하는 것을 추가 근거로 착각하는지 검증
- 2.경로 수·증거 출처를 달리한 통제 실험서 모든 고정 에이전트가 중복 경로 비중 증가
- 3.출처 인지 사후학습(PAPT)은 재방문을 줄이고 합성 데이터 정확도를 높이지만 커버 출처 수 감소
- 4.과학적 주장에서는 PAPT가 반복은 줄이지만 정확도는 오히려 하락
왜 중요한가?
그래프 탐색 에이전트가 더 많이 돌아다니는 것과 더 많은 독립 증거를 모으는 것을 혼동할 수 있다는 약점을 드러내, 검색·추론 에이전트의 근거 신뢰성 평가에 새로운 기준을 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2609.17695v1 Announce Type: new Abstract: A large language model (LLM) agent can follow more graph paths without acquiring more independent evidence. GraphEcho tests whether agents mistake these repeated encounters for additional corroboration. The benchmark varies path counts and evidential origins while holding evidence content fixed, and evaluates both judgments and active exploration. Controlled synthetic experiments reveal model-dependent judgment shifts, but redundant supporting pat
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

