Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3↗ (원문, 새 창)

연구진은 프런티어 모델이 스스로 에이전트 하니스를 구축하고 개선할 수 있는지 ARC-AGI-3 벤치마크에서 검증했다. 각 모델은 완전한 작업 하니스를 만들어 5개 개발용 게임에서 실행한 뒤 코드베이스를 두 차례 수정했고, 적응에 영향을 주지 않은 20개 홀드아웃 게임에서 성능을 측정했다. 27개 계보에서 하니스 성능은 0점부터 거의 만점까지 큰 편차를 보였고, 두 차례 수정이 평균 홀드아웃 성능(RHAE)을 겨우 2.80점 올리는 데 그쳤다. 개발 단계의 성능 향상은 홀드아웃 성능 향상을 과대평가했고, 자율적 하니스 구축과 신뢰할 수 있는 적응 사이에는 여전히 간극이 있음을 보여준다.

• ARC-AGI-3 벤치마크에서 프런티어 모델이 자체 에이전트 하니스를 구축·개선하는 능력을 측정
• 27개 계보 중 하니스 성능이 0점에서 거의 만점까지 극심하게 편차
• 두 차례 코드 수정이 평균 홀드아웃 성능(RHAE)을 2.80점만 개선
• 개발 단계 성능 향상이 실제 홀드아웃 성능 향상을 과대평가하는 경향 확인
• 추론 비용 절감이 작업 성능 저하와 trade-off 관계를 보이는 경우 존재