체계적 일반화는 알려진 원자적 요소를 재조합해 새로운 문제를 해결하는 능력으로 인간 지능의 핵심이지만, 통제된 조건에서 엄밀히 연구하기 어렵다. 기존 연구는 거의 선형적인 행동 합성, 생산성 기반 테스트, 행동이 명시된 목표 같은 단순화에 의존해 이 능력의 일부 본질적 측면을 놓친다. 이 논문은 연역·귀납·귀추 추론을 하나의 과제 안에 통합한 테스트베드 TranSGrid를 도입해 추론 중심 관점에서 이런 단순화가 놓치는 부분을 규명한다. 7개 트랜스포머 모델을 4,800개 TranSGrid 인스턴스로 실험한 결과 모든 모델이 보류 테스트셋보다 훨씬 저조한 성능을 보였다. 가장 큰 모델도 테스트셋에서는 79.6%를 풀었지만 TranSGrid에서는 55.3%, 가장 어려운 하위셋에서는 15.8%에 그쳤다. 행동을 거의 선형으로 합성시키거나 목표를 행동 명시형으로 만드는 두 단순화를 각각 재도입하면 정답률이 보류 테스트셋 수준으로 되돌아가, 둘 중 하나의 단순화만으로도 TranSGrid가 평범한 보류 테스트로 축소됨을 보였다.
- •연역·귀납·귀추 추론을 통합한 체계적 일반화 테스트베드 TranSGrid 도입
- •최대 모델도 보류 테스트셋 79.6% 대비 TranSGrid에서는 55.3%, 최난도 하위셋 15.8%에 그침
- •행동 선형화 또는 목표 명시화라는 두 단순화 중 하나만 재도입해도 난도가 보류 테스트 수준으로 회귀
- •체계적 일반화를 온전히 측정하려면 연역·귀납·귀추를 모두 요구하는 과제가 필요함을 시사
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis
- 1.체계적 일반화를 연역·귀납·귀추 추론 통합해 측정하는 새 테스트베드 'TranSGrid' 제안
- 2.7개 트랜스포머·4800문제 평가, 최고모델도 일반 테스트셋 79.6% 대비 TranSGrid 55.3%, 최난도 15.8%
- 3.훈련 길이범위 내서도 격차 지속—'생산성' 기준만으론 일반화 능력 제대로 못 잼
- 4.기존 단순화요소(선형조합·명시적 목표) 하나만 되돌려도 성능이 일반 테스트셋 수준 복귀
왜 중요한가?
기존 체계적 일반화 벤치마크들이 사실은 추론 요구를 상당 부분 단순화해 모델의 진짜 한계를 가려왔다는 점을 드러내, 벤치마크 설계 자체를 재점검해야 한다는 근거를 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2609.19212v1 Announce Type: new Abstract: Systematic generalization, the ability to solve novel problems by recombining known atomic elements, is central to human intelligence but difficult to study rigorously under controlled settings. Existing studies therefore rely on simplifications such as approximately linear action composition, productivity-based tests, and action-explicit goals, which make systematic generalization easier to study but omit some essential aspects of this capability
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

