마이크로소프트 리서치와 노스웨스턴대·스탠퍼드대 공동 연구팀이 멀티모달 AI의 위상수학적(토폴로지) 추론 능력을 평가하는 새 벤치마크 '마인드토포'를 공개했다. 연결성, 분리, 순서, 포함관계, 매듭 등 5개 범주를 정적 인식(추론)과 장면을 조작하는 상호작용(계획) 두 단계로 나눠 평가한 결과, 현재 모델들은 정적 이미지 속 위상 관계 인식에서는 비교적 좋은 성능을 보였지만 여러 행동을 거치며 관계를 유지해야 하는 계획 과제에서는 성능이 크게 떨어졌고, 두 경우 모두 인간 수준에는 크게 못 미쳤다. 이미지·영상 생성 도구를 보조로 활용해도 여러 단계에 걸친 위상 관계 유지에는 신뢰도가 낮았다. 연구팀은 로봇, 접근성 도구, 상호작용형 AI 비서가 신뢰할 수 있는 의사결정을 하려면 명시적인 위상 상태를 유지하는 모델이나 세계모델 개발이 필요하다고 제언했다.

• •MS리서치 등, 멀티모달 AI 위상수학적 추론 벤치마크 '마인드토포' 공개
• •연결성·분리·순서·포함관계·매듭 등 5개 범주를 추론(정적)·계획(상호작용) 2단계로 평가
• •모델들은 정적 이미지 인식보다 여러 행동에 걸친 관계 유지(계획) 과제에서 성능 급락
• •이미지·영상 생성 보조 도구도 다단계 위상 관계 유지에는 신뢰도 낮음
• •로봇·접근성 도구 신뢰성 확보 위해 명시적 위상 상태 유지 모델 필요성 제기