이 연구는 스크린샷 기반 컴퓨터 사용 에이전트를 실제 운영 중인 ERP 시스템에서 평가하는 벤치마크 ERPBench를 제시한다. 기존 엔터프라이즈 벤치마크가 독점 플랫폼이나 모의 환경에 의존한 것과 달리, ERPBench는 실제 살아있는 ERP 시스템에서 각 작업 결과를 데이터베이스의 정답 값과 직접 대조해 채점한다. 폐쇄형·오픈소스 에이전트 6종을 평가한 결과, 일반 GUI 작업에서 뛰어난 성능이 엔터프라이즈 환경의 신뢰성으로 이어지지 않았다. 일부 에이전트는 최대 85%의 실행에서 저장은 성공했지만 실제로 올바른 값을 기록한 비율은 3%에 불과했다. 연구진은 사람 승인 절차를 거치는 프로덕션급 안전장치도 함께 제시하며, 엔터프라이즈 워크플로우 고유의 실패 유형을 분석했다.

• •실제 운영 중인 ERP 시스템에서 스크린샷 기반 에이전트를 평가하고 데이터베이스 정답값과 직접 대조하는 벤치마크 ERPBench 제안
• •폐쇄형·오픈소스 에이전트 6종 평가 결과 일반 GUI 성능이 엔터프라이즈 작업 신뢰성으로 이어지지 않음을 확인
• •일부 에이전트는 최대 85% 실행에서 저장에 성공했지만 정확한 값을 기록한 비율은 최저 3%에 불과
• •사람 승인을 거치는 프로덕션급 안전 하니스를 함께 제시하며 ERPBench는 이를 자율적으로 운용
• •엔터프라이즈 워크플로우 특유의 실패 유형을 별도로 규명