인간 지능을 이해하고 모델링하는 것은 AI와 인지과학이 공유하는 목표지만, 인간이 수행하는 과제의 폭과 다양성 때문에 모델과 인간을 체계적으로 비교하기는 쉽지 않다. 연구팀은 표준화된 실험 마크업 언어(EML)로 다양한 실험 패러다임을 통일해 재현 가능하고 충실한 대규모 비교를 가능하게 하는 반자동 휴먼인더루프 프레임워크 CogGym을 제시했다. 초기 버전에서는 인간의 상식 추론을 다루는 100편 논문의 258개 인지과학 실험을 표준화하고 50개 대규모 언어모델을 인간 응답과 비교 평가했다. 그 결과 더 크고 최신인 AI 모델일수록 인간 판단을 더 잘 재현하는 명확한 스케일링 경향이 나타났지만, 수학·코딩 같은 형식적 추론 벤치마크에서의 향상 속도에 비해 상식 추론 과제에서의 개선은 훨씬 느렸다. 최고 모델도 텍스트 기준 R²=0.59, 이미지 0.58, 영상 0.43에 그쳐 인간 재분할 신뢰도(각각 0.93, 0.95, 0.92)에 크게 못 미쳤다.

• •CogGym은 다양한 인지과학 실험을 표준 마크업 언어로 통일해 모델-인간 행동을 대규모로 비교하는 프레임워크다
• •초기 버전은 100편 논문에서 258개 인지 실험을 표준화하고 50개 LLM을 인간 응답과 비교했다
• •더 크고 최신인 모델일수록 인간 판단을 잘 재현하지만, 상식 추론에서의 개선 속도는 수학·코딩보다 훨씬 느렸다
• •최고 모델도 R²=0.59(텍스트)에 그쳐 인간 재분할 신뢰도(0.93)에 크게 모자랐다