이 연구는 토큰 로짓 같은 모델 내부 불확실성 신호를 사용할 수 없을 때, 관찰 가능한 궤적 신호만으로 웹 에이전트의 실행이 정상 궤도를 유지하는지 예측하는 방법을 다룬다. 연구진은 단계 간 에이전트-환경 상호작용과 피드백을 요약하는 매크로 특징과, 반복적인 블랙박스 질의를 통해 의도·행동·예상 상태 변화의 일관성을 측정하는 마이크로 특징 두 가지 관찰 가능한 궤적 표현을 제시한다. 최종 실패로 이어지는 첫 결정적 오류를 라벨로 삼아 실패한 궤적의 초반 구간은 정상으로 보존하는 방식을 도입했다. WebArena-Lite와 Online Mind2Web 벤치마크에서 5개의 오픈·클로즈드소스 백본으로 실험한 결과, 관찰 가능한 궤적 신호가 내부 신호 기반 기준선과 경쟁력 있는 성능을 보였으며 고정된 조기 개입 예산 하에서도 효과적이고 웹사이트 카테고리를 넘어 전이됐다.
- •모델 내부 신호 없이 관찰 가능한 굤적만으로 웹 에이전트의 실패 위험을 예측하는 방법을 제안한다.
- •매크로 특징(단계 간 행동·피드백)과 마이크로 특징(의도·행동·상태변화 일관성) 두 가지를 사용한다.
- •실패로 이어진 첫 결정적 오류 지점을 라벨링해 실패 굤적의 초반 정상 구간을 보존한다.
- •WebArena-Lite·Online Mind2Web에서 5개 백본에 걸쳤 내부 신호 기준선과 경쟁력 있는 성능을 보였다.
- •고정 예산 하 조기 개입을 지원하고 학습되지 않은 웹사이트 카테고리로도 전이된다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Monitoring Web Agents Without Internal Signals: Observable Trajectories and Key-Step Supervision
- 1.모델 내부 신호(토큰 로짓) 없이도 웹 에이전트 실행 궤적만으로 실패 위험 예측
- 2.매크로(단계별 행동)와 마이크로(의도·행동 일관성) 두 관찰 가능 궤적 특징 도출
- 3.WebArena-Lite·Online Mind2Web에서 5개 모델로 검증, 내부 신호 기반과 대등한 성능
- 4.고정 오탐 예산 하 조기 개입 가능, 처음 보는 웹사이트 카테고리에도 전이됨
왜 중요한가?
API로만 접근 가능해 내부 로짓을 볼 수 없는 폐쇄형 모델 기반 웹 에이전트에서도 실패를 사전 감지할 수 있어, 상용 에이전트 운영의 안전장치로 실용적 의미가 크다.
언급 프로젝트
본문 미리보기
arXiv:2609.02057v1 Announce Type: new Abstract: Reliable web-agent monitoring is difficult when model-internal uncertainty signals such as token logits are unavailable. In this work, we study prefix-level risk prediction for web agents using observable trajectory signals: given an evolving prefix, estimate whether the current execution remains on track or is tending toward failure. We derive two observable trajectory representations: Macro features summarize cross-step agent--environment behavi
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
