ARC-AGI-3를 푸는 코딩 에이전트에서 실행 가능한 월드 모델, 단계적 단순화, 정확 재현(replay) 검증 중 무엇이 성능을 좌우하는지 4개의 중첩된 Codex 기반 에이전트로 분해 검증한 연구다. gpt-5.4·5.5의 고강도 추론 설정 전반에서 가장 견고한 결과는 '모델이 강할수록, 추론 노력이 클수록 모든 변형이 좋아진다'는 것이었고, 변형 간 차이는 예상보다 작았다. 실행 가능한 산출물 강제가 항상 유리하진 않아 gpt-5.5에서는 텍스트 변형이 유연 인터페이스 실행 모델을 앞섰고, 단순화는 4개 설정 중 3개에서 효과가 있었으며, 완전한 검증 처리는 자원을 더 쓰는 대신 모든 설정에서 1위였다. gpt-5.6-sol 후속 실험에서는 검증 변형이 공개 게임을 전부 풀고 약 99% RHAE, 인간 대비 절반 이하의 행동 수를 기록했으나, 저자들은 이를 공개 세트 포화로만 해석해야 한다고 선을 그었다.
- •월드 모델·단순화·재현 검증의 기여도를 4개 중첩 에이전트로 분리 검증
- •모델 성능과 추론 노력 증가가 구성요소 차이보다 큰 성능 결정 요인
- •완전 검증 처리가 4개 설정 모두에서 1위, 단 자원 소모는 큰 폭 증가
- •gpt-5.6-sol 검증 변형은 공개 게임 전부 해결, 약 99% RHAE, 인간 대비 절반 이하 행동 수
- •공개 세트 포화일 뿐 held-out 성능은 미검증이라는 점을 명시
Do Coding Agents Need Executable World Models, Simplification, and Verification to Solve ARC-AGI-3?
- 1.ARC-AGI-3 에이전트 성능 요인을 4개 중첩 Codex 기반 에이전트로 분리 검증
- 2.gpt-5.6-sol 검증 변형은 공개 게임 전부 해결, 인간 대비 절반 이하 행동으로 RHAE 약 99%
- 3.재현 검증(verification) 처리가 4개 모델-노력 설정 모두에서 1위, 단 자원 소모 큼
- 4.실행형 세계모델 강제가 항상 유리하진 않음 — gpt-5.5에서는 텍스트 변형이 오히려 우세
왜 중요한가?
에이전트 스캐폴딩의 어떤 구성요소가 실제 성능을 내는지 분리한 드문 어블레이션 연구로, 요소 효과가 모델·추론 노력에 따라 달라진다는 결과는 스캐폴딩을 모델별로 재검증해야 함을 시사한다. 공개 세트 포화는 held-out 미검증 단서가 달렸다.
본문 미리보기
arXiv:2607.15439v1 Announce Type: new Abstract: Our previous ARC-AGI-3 agent bundled executable world modeling, scheduled simplification, and exact replay verification, leaving unclear which idea accounted for its performance. We address this attribution question with four nested Codex-based agents: a textual baseline; a flexible-interface executable world model without replay verification; the same executable model with scheduled simplification; and a fixed-interface verification treatment tha
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
