컴퓨터 사용 에이전트(CUA)는 모바일·데스크톱 앱을 사용자 대신 조작하는 사례가 늘고 있지만, 모호한 지시를 다루면서 시각적 인터페이스와 안전하게 상호작용할 수 있는지를 종합 평가하는 벤치마크는 없었다. 연구팀은 ADEPTS 역량 프레임워크와 일반 사용자 조사에 기반해 안전성(Safety)과 모호성 해소(Disambiguation) 두 축으로 구성된 이중 스트림 신뢰성 벤치마크 'ADeptS-Bench'를 제시했다. 안전성 스트림은 시각적 인터페이스에 위협이 내장된 양성/악성 과제 쌍을, 모호성 해소 스트림은 의도가 불명확할 때 에이전트가 명확화를 요청하는지를 평가한다. 7개 모델을 평가한 결과 어떤 모델도 과제 성공률 80% 이상을 유지하면서 공격 성공률 30% 미만을 달성하지 못했고, 모든 모델이 2만5000달러짜리 주문에서 주저 없이 '결제' 버튼을 눌렀으며 '초기화' 버튼이 '최적화'로 잘못 표시된 것을 아무도 감지하지 못했다. 세분화 분석 결과 안전 메커니즘은 도구 의존형(거부 도구 없을 시 공격성공률 21~23%p 상승), 부분 도구 의존형(10~11%p 상승), 메커니즘 없음 세 가지로 나뉘었으며, 모호성 해소에서도 모든 모델이 결과의 심각성을 과대평가해 안전성에서 관찰된 과잉 거부 편향이 반복됐다.

• •컴퓨터 사용 에이전트(CUA)의 안전성·모호성 해소를 함께 평가하는 'ADeptS-Bench' 제시
• •7개 모델 모두 과제 성공률 80% 이상과 공격 성공률 30% 미만을 동시 달성 못함
• •모든 모델이 2만5000달러 주문 결제 버튼을 주저 없이 클릭, 오표기된 '초기화' 버튼 미감지
• •안전 메커니즘을 도구의존·부분도구의존·무메커니즘 3유형으로 구분, 모호성에서도 과잉 거부 반복