마이크로소프트와 허깅페이스가 공동 개발한 AI 에이전트 평가 벤치마크 'ThinkingBox'는 에이전트가 생성한 문장이나 도구 호출이 아니라 실제로 데이터베이스에 남긴 최종 상태와 부작용을 기준으로 평가한다. 507개의 상태 기반 업무 워크플로를 12개 LLM 모델에 각각 20회씩 반복 실행한 결과, 12만1680건의 유효 시도 중 7만9853건이 실행 가능성 검사에 실패했고 이 중 67.24%는 도구 오류 없이 정상 종료된 것처럼 보였지만 77.61%는 잘못된 필드 값을, 43.30%는 의도치 않은 부작용을 보였다. 단일 시도 성공률(pass@1)에서는 Claude Opus 5.5가 67.16%로 1위였지만, 20회 모두 성공(20/20)한 과제 수는 Opus 5.5와 Opus 5가 동일하게 241개로 나타나 정확도 향상이 반드시 신뢰성 향상으로 이어지지 않음을 보였다. 실패의 약 80%는 추론이 아니라 도구 처리 오류에서 발생해, 실제 배포 시에는 모델의 응답이 아니라 최종 데이터베이스 상태를 직접 확인하는 검증 체계가 필요하다는 점을 시사한다.

• •MS·허깅페이스, 에이전트의 응답이 아닌 데이터베이스 최종 상태·부작용으로 평가하는 'ThinkingBox' 벤치마크 공개
• •507개 업무 과제를 12개 LLM에 각 20회씩 실행, 12만1680건 중 7만9853건 실행 검사 실패
• •실패 중 67.24%는 도구 오류 없이 정상 종료됐으나 77.61%는 필드 값 오류, 43.3%는 의도치 않은 부작용 발생
• •pass@1 1위는 Claude Opus 5.5(67.16%)지만 20/20 완전 성공 과제 수는 Opus 5.5·Opus 5 동일(241개)
• •실패의 약 80%는 추론이 아닌 도구 처리(tool usage) 문제, 허깅페이스에서 하니스·데이터셋 공개