SeerGuard는 모바일 GUI 에이전트의 행동을 실행 전에 차단·평가하는 결과 인지형(consequence-aware) 안전 프레임워크다. 기존 안전 장치가 사후 대응에 그치는 것과 달리, 지시 수준 사전 스크리닝과 행동 수준 위험 평가를 통해 실행 전에 위험을 식별한다. 핵심은 다음 상태 의미 예측과 안전 위험 평가를 멀티태스크 학습으로 통합한 안전 증강 월드 모델(SAWM)로, 제안된 행동이 현재 GUI 상태에서 어떤 결과를 낳을지 미리 내다본다. Qwen3-VL-8B-Instruct에서 safety-utility 점수를 0.191에서 0.596으로 올리고 risk-cost 점수를 0.347에서 0.130으로 낮췄으며, 다양한 GUI 에이전트에 일반화됐다. 되돌릴 수 없는 오작동이 치명적인 모바일 자동화 분야에서 실행 전 안전 검증의 실효성을 보여준다.
- •사후 대응형이던 기존 안전 장치와 달리 실행 전 지시·행동 수준 이중 위험 평가 수행
- •다음 상태 예측과 위험 평가를 멀티태스크로 통합한 안전 증강 월드 모델(SAWM) 구축
- •Qwen3-VL-8B에서 safety-utility 점수 0.191→0.596, risk-cost 0.347→0.130 개선
- •다양한 모바일 GUI 에이전트에 효과적으로 일반화됨
SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction
- 1.모바일 GUI 에이전트의 위험을 실행 전에 차단하는 결과 인지형 안전 프레임워크 SeerGuard 제안
- 2.지시 수준 스크리닝과 행동 수준 위험 평가로 실행 전 결과를 미리 예측
- 3.다음 상태 예측과 위험 평가를 멀티태스크로 통합한 안전 증강 세계모델(SAWM) 구축
- 4.Qwen3-VL-8B에서 안전-효용 점수 0.191→0.596, 위험 비용 0.347→0.130 개선
왜 중요한가?
GUI 에이전트의 잘못된 행동 한 번이 결제·삭제 같은 비가역 결과로 이어지는 위험을 사후 대응이 아닌 실행 전 예측으로 막는 접근이라, 모바일 에이전트 상용화에 필요한 안전장치 설계에 시사점이 크다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.15550v1 Announce Type: new Abstract: Mobile graphical user interface (GUI) agents have demonstrated remarkable capabilities in automating complex tasks, yet they introduce critical safety risks where a single erroneous action can lead to irreversible consequences. Existing safety mechanisms are primarily reactive, lacking the ability to assess risks before execution. In this paper, we introduce SeerGuard, a consequence-aware safety framework designed to mitigate these risks through p
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
