생성형 AI 모델의 세대별 인지 능력 진화를 평가하는 심리측정학적 프레임워크를 제시한 연구입니다. Wechsler 성인 지능 검사를 활용한 평가에서 최신 멀티모달 모델은 언어 이해·작업 기억에서 98백분위 이상의 높은 성능을 보이지만, 지각적 추론에서는 1백분위 미만의 극단적 불균형을 나타냈습니다. 6세대에 걸친 AIQ 벤치마크 분석에서 추상적 양적 추론은 시각보다 언어 형식에서 훨씬 빠르게 성숙하고, 시각적 지각 조직은 정체 상태임이 드러났습니다. 이는 단순 스케일링만으로는 균형 잡힌 인간 수준 일반 지능 달성이 어려울 수 있음을 시사합니다.
- •Wechsler 성인 지능 검사 기반 평가에서 최신 멀티모달 AI는 언어 이해·작업 기억에서 98백분위 이상, 지각적 추론에서 1백분위 미만이라는 극단적 인지 불균형을 보인다.
- •인간 규범 한계를 넘어 추적하기 위해 AIQ 벤치마크를 개발하고 2개 모델 패밀리 6세대에 적용한 결과, 능력 향상이 비대칭적으로 발생함을 확인했다.
- •추상적 양적 추론은 언어 형식으로 제시될 때 시각 형식보다 훨씬 빠르게 발전하여 아키텍처가 언어 기반 기호 조작에 편향되어 있음을 나타낸다.
- •단순 스케일링과 최적화만으로는 시각적 지각 조직 등 근본적 아키텍처 한계를 극복하기 어려워, 균형 잡힌 AGI 달성에 새로운 접근이 필요할 수 있다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Uneven Evolution of Cognition Across Generations of Generative AI Models
- 1.심리측정학 프레임워크로 생성 AI의 인지 프로파일을 평가한 연구
- 2.언어 이해·작업 기억은 상위 98 퍼센타일, 지각 추론은 하위 1 퍼센타일로 극단적 불균형 확인
- 3.AIQ 벤치마크를 개발해 6세대·2개 모델 군의 인지 능력 발전 구적 추적
- 4.추상 정량 추론은 언어 형식에서 빠르게 발전하나 시각 지각 조직화는 정체됨
왜 중요한가?
AI 모델의 인지 능력이 매우 불균형하게 발전하고 있음을 정량적으로 보여줌으로써, 스케일링만으로는 AGI에 도달하기 어렵다는 중요한 논거를 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2605.06815v1 Announce Type: new Abstract: The pursuit of artificial general intelligence necessitates robust methods for evaluating the cognitive capabilities of models beyond narrow task performance. Here, we introduce a psychometric framework to assess the cognitive profiles of generative AI, comparing them to human norms and tracking their evolution across generations. Initial evaluation of leading multimodal models using tasks adapted from the Wechsler Adult Intelligence Scale reveale
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안

