이 논문은 저작권 문제로 안정적인 벤치마크 구축이 어려웠던 할리우드 영화 서사 이해 연구를 위해 새로운 데이터셋을 구축했다. 1922~1979년 버라이어티지 발표 주간 박스오피스 수익을 최초로 대규모 공개하고, 저작권 등록·갱신 기록을 조사해 퍼블릭도메인일 가능성이 높은 영화들을 선별하는 두 가지 기준으로 컬렉션을 구성했다. 이를 기반으로 영화 서사 요소를 평가하는 멀티모달 객관식 벤치마크를 만든 결과, 다수의 비전-언어 모델이 거의 무작위 수준의 낮은 정확도를 보였고, 오디오까지 활용하는 오디오-비주얼 모델도 최고 61.1%에 그쳐 인간 수준에는 크게 못 미쳤다. 이는 현재 멀티모달 모델의 영화 서사 이해 능력이 여전히 제한적임을 보여준다.

• •저작권 문제 회피 위해 박스오피스 흥행·퍼블릭도메인 가능성 기준으로 영화 컴렉션 구축
• •1922~1979년 버라이연티지 주간 박스오피스 데이터 최초 대규모 공개
• •다수 비전-언어 모델이 서사 이해 벤치마크에서 거의 무작위 수준 정확도
• •오디오-비주얼 모델 최고 정확도 61.1%로 인간 수준에 크게 못 미침