중국 문샷 AI가 추론·외부 지식을 배제하고 AI의 순수 시각 인지 능력만 평가하는 벤치마크 '퍼셉션벤치(PerceptionBench)'를 28일 오픈소스로 공개했다. 42개 기존 벤치마크의 오답 사례를 분석해 객체 개수 세기, 공간·깊이 이해, OCR, 환각 여부 등 10개 '원자적 시각 능력'을 도출하고, 검증을 거친 3,000개 문제로 각 능력을 독립 측정한다. GPT 계열·클로드·제미나이·키미·큐원·그록 등 16개 최신 모델을 평가한 결과 정확도 60%를 넘긴 모델이 하나도 없었고, 환각이 가장 취약한 영역으로 나타났다. 로봇·자율주행 등 물리 AI에서는 추론 이전에 정확한 '보는 능력'이 병목이라는 점에서, 멀티모달 AI 경쟁의 축을 시각 인지 기초 능력으로 옮기는 계기가 될 수 있다.

• •42개 벤치마크 오답 분석으로 시각 인지 10개 '원자적 능력' 도출, 초기 1만7,000여 문항에서 3,000개 선별
• •16개 최신 멀티모달 모델 평가에서 정확도 60% 초과 모델 전무
• •가장 취약한 항목은 환각—이미지에 없는 사물을 있다고 답하는 오류 빈발
• •같은 이미지에 유사 질문 반복 시 답이 바뀌는 일관성 문제도 확인—확률적 추정 가능성 시사
• •로봇·자율주행 등 물리 AI 시대에 '보는 능력' 독립 평가의 중요성 부각