Pro²Assist는 AR 글래스를 활용해 장기 절차적 작업에서 사용자의 단계별 진행 상황을 실시간으로 추적하고 선제적 지원을 제공하는 멀티모달 AI 어시스턴트이다. 모션 기반 지각으로 다중 시간 스케일의 절차적 맥락을 추출하고 사용자의 진화하는 상태를 연속 추론해 AR 안경에 시기적절한 도움을 표시한다. 20명 참가자 사용자 연구에서 90%가 유용하다고 평가했으며, 베이스라인 대비 절차 행동 이해 정확도 21% 이상, 선제적 타이밍 정확도 최대 2.29배 향상을 달성했다.
- •기존 시스템은 반응형 안내 또는 단기 이벤트 선제 지원에 그쳐 장기 절차적 태스크에 미흡하다.
- •AR 글래스의 멀티모달 데이터로 모션 기반 지각을 수행하고 다중 시간 스케일 동적·태스크별 전문 지식에서 절차적 맥락을 추출한다.
- •베이스라인 대비 절차 행동 이해 정확도 21% 이상 향상, 선제적 타이밍 정확도 최대 2.29배 개선을 달성했다.
- •20명 참가자 사용자 연구에서 90%가 실제 절차적 지원에 효과적이라고 평가했다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Pro$^2$Assist: Continuous Step-Aware Proactive Assistance with Multimodal Egocentric Perception for Long-Horizon Procedural Tasks
- 1.AR 글래스를 활용해 장기 절차적 과제를 지속 추적하는 선제적 AI 어시스턴트 Pro²Assist 제안
- 2.멀티스케일 시간 역학에서 단계 지향 절차 콘텍스트 추출해 사용자 요구 선제적 추론
- 3.최고 기준선 대비 절차 행동 이해 정확도 21% 이상 향상, 선제 타이밍 정확도 최대 2.29배
- 4.20명 사용자 연구에서 90%가 유용하다고 평가
왜 중요한가?
기존 AI 어시스턴트가 사용자 요청 후 반응하는 방식과 달리, 장기 절차 작업 전반에 실시간 선제 지원을 제공해 AR 기반 AI 어시스턴트의 새로운 가능성을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2605.04227v1 Announce Type: new Abstract: Procedural tasks with multiple ordered steps are ubiquitous in daily life. Recent advances in multimodal large language models (MLLMs) have enabled personal assistants that support daily activities. However, existing systems primarily provide reactive guidance triggered by user queries, or limited proactive assistance for isolated short-term events rather than long-horizon procedural tasks. In this work, we introduce Pro$^2$Assist, a step-aware pr
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
