이 연구는 에이전트가 안전 필수 애플리케이션에 빠르게 도입되는 상황에서, 모델의 내부 표현이 최종 과제 성공을 예측하는 더 강력한 신호를 제공하는지 조사했다. 연구진은 상호작용 궤적 전반의 잔차 스트림 표현 변화를 요약하는 잠재 궤적 동역학(LTD)과, 행동 결정 시점의 표현으로 성공을 예측하는 행동 표현 프로브(ARP) 두 가지 방법을 제안했다. Bash, SQL, Python 세 가지 상호작용 벤치마크와 Qwen14B, Qwen7B, DeepSeek6.7B 세 모델군에서 실험한 결과, 두 방법 모두 표면적 생성이나 시퀀스 기반 보정 베이스라인을 일관되게 능가했다. 이는 프롬프트 수정이나 다중 샘플링 없이도 제로 오버헤드로 에이전트 신뢰성을 모니터링할 수 있음을 보여준다.
- •내부 표현 기반 LTD와 ARP 두 가지 신뢰도 측정 방법 제안
- •Bash·SQL·Python 벤치마크와 3개 모델군에서 기존 베이스라인을 일관되게 능가
- •프롬프트 수정이나 다중 샘플링 없이 제로 오버헤드로 동작하는 신뢰성 모니터 구현
- •에이전트의 계획·도구 호출 등 복잡한 실패 양상에 대응하는 확신도 측정 기법
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Do Agents Know When They Succeed? Calibrating Agent Confidence from Internal Representations
- 1.에이전트 내부 표현에서 과업 성공 신호를 추출하는 두 기법 LTD와 ARP 제안
- 2.LTD는 상호작용 궤적 전반의 잔차 스트림 변화를 요약, ARP는 행동 결정 시점 표현으로 성공을 예측
- 3.Bash·SQL·Python 3개 벤치마크와 Qwen14B·Qwen7B·DeepSeek6.7B 3개 모델군에서 검증
- 4.프롬프트 변경이나 다중 샘플링 없이도 표면적 생성·시퀀스 기반 보정 기법보다 일관되게 우수
왜 중요한가?
안전이 중요한 환경에 에이전트가 빠르게 도입되는 상황에서, 별도 오버헤드 없이 내부 표현만으로 성공 여부를 미리 가늠할 수 있는 신뢰도 모니터는 배포 후 실패 탐지 비용을 크게 낮출 잠재력이 있다.
본문 미리보기
arXiv:2609.09448v1 Announce Type: new Abstract: As agentic systems getting adopted rapidly in safety critical applications, it is vital to measure the confidence associated with the agentic actions. In comparison to the traditional machine learning systems, agentic workflows have complex failure modes with planning, tool invocation and dynamic environment interactions. In this paper, we investigate whether model's internal representations provide stronger signals of eventual task success in mul
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

