ARC와 유사 벤치마크는 AI 모델의 새로운 추론 능력을 평가하지만, 성공이 실제 규칙 추론에서 온 것인지 지름길 활용에서 온 것인지 불분명한 경우가 많다. 연구팀은 Vision ARC(VARC)에서 트랜스포메이션 규칙을 나타내는 학습 가능한 임베딩만 먼저 미세조정한 뒤 이를 고정하고 백본을 미세조정하는 2단계 테스트 타임 학습(Embed-TTT)을 제안했다. ARC-AGI-1, ConceptARC 및 규칙이 알려진 두 개의 통제 데이터셋에서 Embed-TTT는 실제 과제 규칙과 더 잘 정렬되는 임베딩을 일관되게 만들어내 임베딩 기반 검색과 선형 프로빙 정확도를 높였다. 전체 모델 파라미터의 0.01% 미만인 태스크 임베딩만 최적화해도 ARC-AGI-1 등에서 상당수 과제를 이미 해결했으며, 전체 2단계 파이프라인은 최종 성능을 더 끌어올렸다. 이 결과는 ARC류 평가에서 규칙 추론과 규칙 실행을 더 명확히 분리해야 함을 시사하며, 분포 내외 규칙을 구분하는 벤치마크 설계에 동기를 제공한다.
- •Embed-TTT는 태스크 임베딩만 먼저 미세조정한 뒤 백본을 미세조정하는 2단계 테스트 타임 학습 기법이다
- •전체 파라미터의 0.01% 미만인 임베딩만 최적화해도 ARC-AGI-1 등에서 상당수 과제를 해결한다
- •Embed-TTT로 얻은 임베딩은 실제 규칙과 더 잘 정렬돼 검색·선형 프로빙 정확도가 향상된다
- •규칙 간 보간은 가능하지만 외삽은 되지 않음을 확인했다
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Implicit Rule Induction with Test-Time Task Embeddings in ARC-like Tasks
- 1.Vision ARC(VARC)에서 테스트시점학습(TTT)을 과제임베딩과 백본으로 분리하는 2단계 'Embed-TTT' 기법 제안
- 2.임베딩만 먼저 미세조정 후 고정, 이후 백본을 미세조정하는 순서로 규칙정렬이 더 잘된 과제임베딩 획득
- 3.ARC-AGI-1·ConceptARC 등에서 임베딩기반 검색·선형탐침 정확도 개선, 파라미터 0.01% 미만 최적화로도 상당수 과제 해결
- 4.Embed-TTT가 파라메트릭 규칙의 기하구조를 복원, 규칙 간 보간은 가능하나 외삽은 어렵다는 한계도 확인
왜 중요한가?
ARC류 벤치마크에서 모델이 실제로 규칙을 추론했는지 지름길을 탔는지 불분명했던 문제를, 규칙귀납과 규칙실행을 분리 측정 가능하게 함으로써 추론 벤치마크 설계와 해석에 실질적 개선 방향을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2609.21181v1 Announce Type: new Abstract: The Abstraction and Reasoning Corpus and related benchmarks evaluate whether AI models can solve novel reasoning tasks, but often leave unclear whether success reflects inference of the intended underlying rule or reliance on shortcuts. We address this gap by studying test-time task embeddings in Vision ARC (VARC), a model in which a pre-trained backbone is complemented by a trainable embedding representing the transformation rule. In the original
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

