'The Unwritten Benchmark'는 잉크 흔적 없이 펜이 종이를 긁는 소리와 손동작 영상만으로 단어를 추론하는 '음향-운동학적 단어 추론' 과제를 통해 멀티모달 모델의 추상적 지각 추론 능력을 시험하는 새 벤치마크다. 인간 참가자는 3가지 필기 스타일에서 80% 이상의 순서별 글자 정확도를 보인 반면, GPT-4o와 Gemini 2.5-Pro를 포함한 최신 멀티모달 모델들은 10%조차 넘지 못했다. 특히 음성과 영상 두 모달리티를 함께 제공하면 오히려 성능이 떨어지는 역설적 융합 효과가 발견됐는데, 이는 모델이 상호 보완적 지각 단서를 통합하는 데 근본적 한계가 있음을 보여준다. 이는 정적 인식을 넘어선 동적·생성적 추론에서 현재 멀티모달 AI의 취약점을 드러낸다.

• •잉크 없이 펜 소리·손동작만으로 단어를 추론하는 새 벤치마크 제안
• •인간은 80% 이상 정확도, GPT-4o·Gemini 2.5-Pro는 10% 미만에 그침
• •두 모달리티를 함께 주면 오히려 성능이 떨어지는 '역설적 융합 효과' 발견
• •모델의 교차 모달 인과 추론과 미세 운동학 이해에 근본적 한계 확인
• •정적 인식을 넘어선 동적·생성적 지각 추론 평가의 새 지평 제시