연구진은 자율 AI 에이전트를 멀티모달 상호작용 과제로 평가하는 GUI 환경에서, 기존 AndroidWorld·MobileWorld 등 벤치마크가 실제 모바일 사용의 다양성과 복잡성을 충분히 반영하지 못한다는 문제를 지적하며 새로운 벤치마크 'GMA(General Mobile Assistants)'를 제시했다. GMA는 라이프스타일 공유, 여행 계획 등 다양한 영역의 오픈소스 프로젝트 기반 애플리케이션 7종과, 단순 동작부터 복잡한 다단계 워크플로까지 4단계 난이도로 구성된 300개 과제를 포함한다. 8개 최상위 모델을 평가한 결과 과제 복잡도가 높아질수록 성능이 크게 저하되어, 현재 에이전트들이 현실적인 사용자 요구를 안정적으로 처리하기에는 아직 거리가 있음이 드러났다. 컨텍스트 유지와 명시적 상태 추적 등 에이전트 하네스 설계에 대한 통제 실험에서는 적절한 하네스 설계가 특히 까다로운 워크플로에서 성능을 유의미하게 개선할 수 있음을 확인했다.

• •실제 모바일 사용 다양성·복잡성 반영한 새 벤치마크 'GMA' 제시
• •라이프스타일·여행 등 오픈소스 기반 앱 7종, 4단계 난이도 300개 과제 구성
• •8개 최상위 모델 평가, 과제 복잡도 증가할수록 성능 급격히 저하
• •컨텍스트 유지·상태 추적 등 하네스 설계 통제 실험 병행
• •적절한 하네스 설계가 까다로운 워크플로 성능을 유의미하게 개선함을 확인