모바일 GUI 에이전트는 화면 스크린샷을 해석하는 비전-언어모델(VLM)을 활용해 스마트폰 작업을 자동화하지만, 민감한 화면 정보의 직접 유출과 의도치 않은 사용자 프로파일링이라는 프라이버시 위험을 안고 있다. 이 논문은 이런 위험을 체계적으로 평가하는 최초의 벤치마크 PriMobiBench와, 16개 앱·25개 프라이버시 속성·2,960개 프라이버시 인스턴스를 담은 데이터셋 MobiLeak을 공개했다. 평가 결과 VLM은 최대 82.5% 성공률로 민감정보를 직접 추출했고, 명시적 유출을 넘어 집계된 시각 증거만으로도 약 70% 성공률로 사용자 프로필을 추론했다. 클라우드 처리 전 과업과 무관한 민감 UI 요소를 마스킹하는 완화책을 적용하면 성능 손실 약 8%만으로 프로파일링 성공률을 최대 58% 낮출 수 있음도 보였다.
- •스크린샷 기반 모바일 GUI 에이전트의 프라이버시 유출·프로파일링을 평가하는 최초 벤치마크 PriMobiBench 제안
- •16개 앱, 25개 프라이버시 속성, 2,960개 인스턴스로 구성된 MobiLeak 데이터셋 공개
- •VLM이 민감정보를 최대 82.5% 성공률로 직접 추출, 집계 증거로 약 70% 성공률 사용자 프로필 추론
- •과업 무관 민감 UI 요소 마스킹으로 성능 손실 8%만으로 프로파일링 성공률 최대 58% 감소
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
PriMobiBench: Characterizing Visual Privacy Leakage in VLM-Driven Mobile GUI Agents
- 1.스크린샷 기반 모바일 GUI 에이전트의 프라이버시 유출·프로파일링 위험을 평가하는 첫 벤치마크 PriMobiBench 공개
- 2.16개 앱, 25개 프라이버시 속성, 2,960건의 인스턴스를 담은 MobiLeak 데이터셋 구축
- 3.VLM이 화면에서 민감정보를 직접 추출하는 성공률 최대 82.5%, 프로필 추론 성공률 약 70%
- 4.작업과 무관한 민감 UI 요소를 마스킹하는 완화책으로 프로파일링 성공률 최대 58% 감소, 성능 저하는 약 8%
왜 중요한가?
VLM 기반 모바일 에이전트가 화면을 통째로 읽는 방식이 확산되는 상황에서, 누적 관찰만으로도 사용자 프로필을 추론해낼 수 있다는 결과는 프라이버시 마스킹을 기본 안전장치로 포함해야 함을 시사한다.
언급 프로젝트
모바일 GUI 에이전트가 스마트폰 작업 자동화를 위해 시각-언어 모델(VLM)을 활용할 때 발생하는 심각한 시각적 프라이버시 유출 위험을 진단한 연구입니다. 국내 사용자들의 모바일 기기 사용 의존도가 매우 높고 금융, 의료 등 민감한 정보를 화면으로 다루는 빈도가 잦다는 점을 고려하면, VLM 기반 모바일 에이전트 개발 시 화면 스트림 해석 과정에서의 개인정보 유출 방지 대책 마련이 시급합니다. 이는 국내 AI 서비스의 신뢰도와 사용자 수용성에 직결되는 핵심 보안 과제입니다.
본문 미리보기
arXiv:2609.13873v1 Announce Type: new Abstract: Mobile GUI agents increasingly rely on Vision-Language Models (VLMs) to automate smartphone tasks by interpreting screenshot streams. However, this design introduces serious and underexplored privacy risks, including direct leakage of sensitive on-screen information and unintended user profiling. The absence of standardized benchmarks makes it difficult to quantify these risks in realistic mobile agent workflows. To address this gap, we propose Pr
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

