멀티모달 언어모델은 음식 인식 벤치마크에서 거의 만점에 가까운 성적을 내지만, 이것이 진정한 문화적 이해인지 단순 시각적 매칭인지는 불분명하다. 연구진은 10개 언어, 18개 지역에 걸친 4870개 항목으로 구성된 CulturalMenuBench를 도입, 완성 요리·단계별 조리 이미지를 재료·조리 절차·지역 라벨과 짝지어 기본 인식부터 절차 기반 문화적 귀속까지 10개 과제를 다룬다. 12개 모델을 평가한 결과 표준 객관식 과제에서 94% 이상을 기록한 모델들이 동일한 4지선다 형식의 중국 지역 요리 귀속 과제에서는 최대 56%까지 떨어지는 지식-적용 간극이 드러났다. 오류 패턴은 무작위 추측과 유사했고, 정확도는 문화적 구조가 아닌 시각적 구별성을 따랐으며, 모델들은 이미지보다 요리 이름만으로 더 정확하게(7~18점 높게) 지역을 분류했다.

• •10개 언어·18개 지역, 4870개 항목으로 구성된 문화 요리 이해 벤치마크 CulturalMenuBench 도입
• •표준 음식 인식에서 94% 이상 성적을 낸 모델이 지역 요리 귀속에서는 최대 56%로 급락
• •오류 패턴이 무작위 추측과 유사, 정확도가 문화적 구조가 아닌 시각적 구별성에 좌우됨
• •모델이 이미지보다 요리 이름 텍스트만으로 지역 분류를 7~18점 더 정확히 수행
• •순차 조리 이미지를 제거하면 절차 기반 과제 성능만 선택적으로 저하되어 절차적 증거 필요성 확인