이 연구는 에이전트 실패를 시스템 수준 결과로만 뭉뚱그리면 실패가 어디서 비롯됐고 어떤 개입이 필요한지 알 수 없다는 '수리 배정 문제'를 지적하며, 동일한 표면적 실패라도 모델 후속훈련, 하네스 엔지니어링, 환경 재설계, 벤치마크 수정 중 무엇이 필요한지 원인별로 나누는 상호작용 중심 분류체계를 제안한다. 이 체계는 41개 실패 유형을 두 구성요소 사이의 상호작용(엣지)과 수리 책임이 있는 쪽(fault side)에 각각 배정해, 모델측 실패는 후속훈련 대상을, 하네스측 실패는 스캐폴딩·툴 통합 수정을, 환경·채점자 실패는 평가 조건 재설계를 가리키도록 설계됐다. 이 분류체계는 코딩 어시스턴트부터 장기 개인비서, 다중 에이전트 시스템까지 다양한 에이전트 아키텍처에 적용 가능하며, 공개 벤치마크·모델 시스템카드·발표된 보고서·기록된 에이전트 궤적의 실제 사례로 뒷받침됐다. 4개 프론티어 모델을 독립 판정자로 사용해 재현성을 평가한 결과 가장 강력한 판정자가 사람의 라벨과 코헨 카파 0.76의 일치도를 보여, 이 범주들이 평가자 개인의 편향이 아닌 공유된 구조를 포착함을 시사한다.
- •에이전트 실패를 모델·하네스·환경·벤치마크 중 수리 책임이 있는 쪽으로 배정하는 상호작용 중심 분류체계를 제안했다.
- •41개 실패 유형을 두 구성요소 사이 상호작용(엣지)과 fault side에 매핑해 실행 가능하게 설계했다.
- •코딩 어시스턴트부터 다중 에이전트 시스템까지 다양한 아키텍처에 적용 가능하다.
- •4개 프론티어 모델을 판정자로 쓴 재현성 평가에서 최고 판정자가 사람 라벨과 코헨 카파 0.76을 기록했다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
본문 미리보기
arXiv:2607.28802v1 Announce Type: new Abstract: Existing evaluations often reduce agent failures to system-level outcomes, obscuring where the fault originated and which intervention would improve the agent system. This creates a repair-assignment problem: the same visible failure may call for model post-training, harness engineering, environment redesign, or benchmark repair depending on its source. Because agent behavior emerges from interactions among models, harnesses, users, tools, memory,
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:10AI 초안

