LLM 에이전트가 달성 불가능하거나 부실하게 명세된 목표 앞에서 언제 행동을 멈춰야 하는지를 다룬 'Agentic Abstention'(에이전트 기권) 문제를 정의한 연구다. 단일턴 답변/기권 결정으로 평가되는 표준 기권과 달리, 에이전트 기권은 매 턴 답변·기권·정보 수집 중 선택하는 순차적 결정이며 기권 필요성이 환경과 상호작용한 뒤에야 드러날 수 있다. 웹쇼핑·터미널·질의응답에서 13개 LLM 에이전트와 2개 스캐폴드를 28,000여 과제로 평가한 결과, 핵심 난제는 기권 가능 여부뿐 아니라 '언제' 기권하느냐였다. 일부는 기권해야 할 때 전혀 못 하고, 일부는 불필요한 상호작용을 여러 번 거친 뒤에야 기권했으며, 더 큰 모델이 오히려 적시 기권을 못 하기도 했다. 저자들은 전체 상호작용 궤적을 재사용 가능한 중단 규칙으로 증류하는 컨텍스트 엔지니어링 기법 CONVOLVE를 제안해, WebShop에서 Llama-3.3-70B의 적시 재현율을 26.7에서 57.4로 끌어올렸다.
- •달성 불가능한 목표 시 추가 도구 호출을 멈추는 순차적 결정 문제 '에이전트 기권' 정의
- •13개 LLM 에이전트를 28,000여 과제로 평가, 핵심은 '언제' 기권하느냐
- •더 크거나 유능한 모델이 오히려 적시 기권에 더 못하는 경우 발생
- •상호작용 궤적을 중단 규칙으로 증류하는 CONVOLVE로 Llama-3.3-70B 적시 재현율 26.7→57.4
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Agentic Abstention: Do Agents Know When to Stop Instead of Act?
- 1.'에이전트 기권(Agentic Abstention)' 정의: 불확실성 하에서 행동 중단 시점을 결정하는 순차 문제
- 2.웹쇼핑·터미널·QA 환경의 28,000여 과제에서 13개 LLM 에이전트와 2개 스캐폴드 평가
- 3.일부 에이전트는 전혀 기권하지 않고, 더 큰 모델이 적시 기권에서 오히려 열세인 경우도 발견
- 4.굤적을 중단 규칙으로 증류하는 CONVOLVE로 Llama-3.3-70B 적시 기권 재현율 26.7→57.4 향상
왜 중요한가?
달성 불가능한 목표 앞에서 멈출 줄 아는 능력을 단일턴 거부가 아닌 순차 의사결정 문제로 처음 대규모 정식화했다. 능력 좋은 모델이 제때 멈추는 데는 더 서툴 수 있다는 발견은, 에이전트 신뢰성이 모델 스케일만으로 해결되지 않음을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2606.28733v1 Announce Type: new Abstract: LLM agents are expected to act over multiple turns, using search, browsing interfaces, and terminal tools to complete user goals. Yet not every goal is well specified or achievable in the available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안

