이 연구는 웨어러블 어시스턴트가 1인칭 시점(egocentric) 영상에서 에피소드 기억을 유지해야 하는 문제를 다루며, 시각-언어모델의 제한된 프레임 예산과 늘어나는 시각 토큰 비용, 장기 문맥 검색 실패 문제 속에서 텍스트 캡션이 재사용 가능한 에피소드 기억 역할을 할 수 있는지 연구했다. 연구진은 이를 위해 '캡션 기반 에피소드 기억 영상 질의응답' 과제를 정의하고, 75개 영상(총 33.7시간)과 16개 시나리오에 걸친 객관식 질문 1000개로 구성된 사람 검수 벤치마크 CapMem을 도입했다. 20분 이상 장편 영상에서는 30초·60초 캡션 윈도로 전체 구간을 다룬 CaptionQA가 각각 12개 모델 중 10개, 8개에서 직접 VideoQA보다 우수했으며, 프레임 수를 맞춘 통제 실험(6개 Qwen 모델)에서도 평균 3.22점, 2.55점의 정확도 향상이 유지됐다. 캡션 기반 검색-검증 하니스를 추가하면 정확도가 최대 5.3점 추가로 향상돼, 장편 1인칭 영상에 대한 에피소드 추론에서 캡션 기반 기억의 효과가 뒷받침됐다.

• •웨어러블 기기의 1인칭 장편 영상 에피소드 기억 문제에서 텍스트 칵션의 재사용 가능성을 연구
• •75개 영상(33.7시간), 16개 시나리오, 객관식 1000문항으로 구성된 사람 검수 벤치마크 CapMem 도입
• •20분 이상 장편 영상에서 칵션 기반 CaptionQA가 직접 VideoQA보다 대다수 모델(12개 중 10개, 8개)에서 우수
• •프레임 수를 맞춘 통제 실험에서도 평균 3.22점, 2.55점의 정확도 우위가 유지됨을 확인
• •칵션 기반 검색-검증 하니스 추가 시 정확도가 최대 5.3점 추가 향상