이 논문은 멀티모달 대형언어모델(MLLM)이 문서형 이미지 안에서 텍스트 맥락을 활용해 차트 증거를 선택·해석·집계할 수 있는지를 평가하는 벤치마크 DocHop을 소개한다. 기존 벤치마크는 차트 이해와 문서 이해를 분리해 평가해온 반면, DocHop은 문서 서사가 다단계 구성적 제약을 지정하고 차트가 그에 대응하는 데이터 값을 제공하는 구조로, 모델이 먼저 맥락에서 대상 개체를 특정한 뒤 여러 차트에 걸쳐 증거를 종합하도록 요구한다. 확률적 논리 우선 생성 파이프라인으로 추론 난도와 시각적 밀도를 조절하며 6개 과제 유형에 걸쳐 2,074개 예제를 구축했다. 실험 결과 사람 평가자는 90% 이상의 정확도를 보인 반면 최고 성능 모델은 62.83%에 그쳐 상당한 격차가 확인됐으며, 추론 강화 모델일수록 성능이 개선되지만 추론 복잡도가 높아질수록 성능이 저하됐다.

• •DocHop은 문서형 이미지에서 텍스트 맥락과 차트 증거를 통합 추론하는 능력을 평가하는 벤치마크다.
• •모델이 맥락에서 대상 개체를 먼저 특정한 뒤 여러 차트의 증거를 종합하도록 요구한다.
• •확률적 논리 우선 파이프라인으로 6개 과제, 2,074개 예제를 생성했다.
• •사람 정확도는 90% 이상인 반면 최고 성능 모델은 62.83%에 그쳐 큰 격차를 보였다.
• •추론 강화 모델이 더 좋은 성능을 보이지만 추론 복잡도가 커질수록 성능이 저하된다.