도구를 활용하는 LLM 에이전트는 존재하지 않는 도구를 호출하거나 스키마에 없는 인자를 전달하는 '도구 환각' 문제를 일으키는데, 기존의 도구 선택·게이팅 기법은 애초에 호출이 실제 도구를 가리킨다고 전제하기 때문에 이를 걸러내지 못하는 구조적 사각지대가 있다고 이 논문은 지적한다. 연구진은 도구 환각을 5가지로 분류(H1~H5)하고, 레지스트리 등록 여부와 시그니처 검사만으로 판별하는 학습 불필요한 클로즈드월드 리졸버 '레절루션 렁(Resolution Rung)'을 기준점으로 제시하며 환각 방어가 어떤 인과적 게이트보다도 먼저 와야 한다고 증명한다. 10개 모델·2가지 호출 인터페이스에서 322건의 실제 환각을 측정했는데, 제약 없는 원시 JSON 인터페이스에 환각이 집중됐고(34건 대 3건) 모델 규모가 커도 환각이 줄지 않았다. 여러 서버를 하나의 네임스페이스로 합치는 MCP 환경으로 확장하자 단일 레지스트리로는 설명할 수 없는 새로운 환각 유형(M1~M5)이 나타났고, 단일 레지스트리에서는 깨끗했던 최상위 모델도 154건의 환각을 냈다.
- •도구 환각(존재하지 않는 도구 호출·미정의 인자)은 기존 도구 선택·게이팅 기법이 원천적으로 못 잡는 구조적 사각지임을 지적
- •환각을 5가지로 분류(H1-H5)하고 레지스트리 등록+시그니처 검사 기반 학습불필요 리솔버 'Resolution Rung' 제시
- •10개 모델에서 322건 환각 측정, 무제약 원시 JSON 인터페이스에 집중(34건 대 3건), 모델 규모와 무관하게 발생
- •MCP처럼 여러 서버를 한 네임스페이스로 합치면 단일 레지스트리로 못 잡는 새 환각 유형(M1-M5) 154건 발생, 최상위 모델도 포함
- •버전 관리되는 'Hallucinated-Tools Benchmark(HTB)' 공개로 리솔버 간 비교 가능하게 함
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Closed-World Resolution Against Tool Hallucination in LLM Agents
- 1.LLM 에이전트의 '존재하지 않는 도구 호출' 문제를 5개 유형(H1~H5)으로 분류·측정
- 2.10개 모델·2가지 호출방식서 총 322건 순수 할루시네이션 확인, 제약없는 raw-JSON에 집중(34대3)
- 3.모델 크기와 방지능력 무관—675B 모델이 7~8B 모델과 비슷한 수준
- 4.MCP처럼 여러 서버 통합 시 이름충돌로 새 유형(M1~M5) 발생, 실측 154건—단일 레지스트리선 깨끗했던 모델도 포함
왜 중요한가?
툴 선택·권한통제 방식으로는 애초에 존재하지 않는 도구 호출 자체를 막을 수 없다는 구조적 사각지대를 실증해, MCP 등 다중서버 연동 에이전트 운영팀에 방어선을 레지스트리 검증 단계로 앞당겨야 한다는 지침을 준다.
본문 미리보기
arXiv:2609.19425v1 Announce Type: new Abstract: Tool-augmented large language model (LLM) agents fail in a way no tool-selection or tool-security method addresses: they call tools that do not exist and pass arguments no schema declares. Existing defenses either pick the right tool (selection) or constrain what an agent may do with real tools (gating), both of which presuppose the emitted call refers to a real tool at all. We show this is a structural blind spot: a hallucinated call is by constr
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

