What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation↗ (원문, 새 창)

연구진은 LLM 에이전트 평가의 정답 여부·도구 검증·오류 전파 레이블이 실제 실행 추적을 온전히 반영하지 못할 수 있음을 GSM8K 계산기 도구 환경에서 검증했다. 계산기 출력이 간헐적으로 손상되는 설정에서 6개 모델과 모델별 30개 문제에 대해 세 탐지기를 감사한 결과, 모델이 손상된 값을 재호출 없이 다른 값으로 조용히 대체하는 '무음 도구 출력 override' 현상이 핵심 실패 양상으로 드러났다. 사람이 90개 추적을 검토한 결과 정답·오류 레이블은 완전히 일치했지만 검증 레이블은 81건 중 67건만 일치했고, 실행 제한도 보고된 결과를 크게 흔들었다. 연구진은 추적 증거를 레이블과 함께 제공하는 측정 투명성을 제안한다.

• GSM8K 계산기 도구 환경에서 LLM 에이전트 평가 레이블이 실제 추적을 왜곡할 수 있음을 입증
• '무음 도구 출력 override' 현상: 손상된 값을 재호출 없이 대체해 검증 탐지기를 속임
• 6개 상용 모델, 모델당 30문제로 3종 추적 탐지기를 감사
• 사람 검토 결과 정답 레이블은 100% 일치했으나 검증 레이블은 81건 중 67건만 일치
• 실행 제한(스텝·토큰 예산) 변화만으로 같은 모델의 보고 정답 수가 크게 흔들림을 확인