멀티모달 LLM이 도구로 문제를 외부화하고 그 시각적 출력을 다시 추론할 때, 특히 시각 보조에 의존할 때 성능이 저하되는 현상을 연구하기 위해 그래프 보조 수학 벤치마크 'VAMPS'를 제안한 논문이다. VAMPS는 이란 대학입학시험 대수·미적분 문제에서 추출하고 인간 검토를 거친 LLM 합성 변형으로 확장한 1,168개의 멀티모달·이중언어 객관식 문항으로 구성되며, 그래프를 그리면 교점·극값·점근선 등이 드러나 자연스러운 풀이 전략이 되도록 선별됐다. 고정된 시각 입력에 대한 추론만 평가하던 기존 벤치마크와 달리, 모델이 유용한 그래프를 직접 구성해 답을 그 시각화에 근거시킬 수 있는지를 검증한다. 결과적으로 다양한 모델에서 그래프가 자연스러운 전략인 문제에서조차 직접 해석적 풀이가 도구 기반 시각 풀이를 능가하는 의외의 양상이 나타났다.

• •도구로 문제를 외부화해 시각 출력을 다시 추론할 때 성능이 저하되는 격차를 측정하는 그래프 보조 수학 벤치마크
• •이란 대입시험 대수·미적분 기반 1,168개 멀티모달·이중언어 객관식 문항, 교점·극값·점근선 드러나는 문제 선별
• •고정된 시각 입력 추론만 평가하던 기존과 달리 모델이 그래프를 직접 구성해 답을 근거시키는지 검증
• •그래프가 자연스러운 문제에서조차 직접 해석적 풀이가 도구 기반 시각 풀이를 능가하는 의외의 결과