연구진은 컴퓨터 사용 에이전트(CUA)를 겨냥해 이미지에 숨긴 시각 패치로 명령을 주입하는 공격을 검증하는 종단간 평가 프레임워크를 제시했다. GitHub Pages와 로컬 CSDN 클론에 패치를 배치한 뒤 5개의 오픈소스·공개 GUI 에이전트 및 VLM 백엔드에서 실제 환경 테스트를 진행해 600건의 사례를 수집했다. 그 결과 시각 패치가 트리거되는 비율(T-ASR)은 84.5%, 실제 실행까지 이어지는 종단간 성공률(E2E-ASR)은 20.3%에 달했으며, 일부 사례에서는 에이전트가 악성 터미널 명령을 먼저 실행한 뒤 원래의 정상 작업을 이어가기도 했다. 이는 최적화된 시각 신호가 VLM 출력뿐 아니라 실제 실행 파이프라인까지 오염시켜 현실적 위험을 초래할 수 있음을 보여준다.

• •이미지 속 시각 패치로 컴퓨터 사용 에이전트에 명령을 주입하는 공격 검증
• •600건 실제 사례에서 T-ASR 84.5%, 종단간 실행 성공률(E2E-ASR) 20.3% 기록
• •일부 사례에서 악성 터미널 명령 실행 후 정상 작업을 이어가는 은폐 패턴 확인
• •5종의 공개 GUI 에이전트·VLM 백엔드에서 실제 환경 위험이 입증됨