프린스턴대 피터 커기스·사야시 카푸르 등이 주도한 다기관 연구팀은 AI 에이전트가 아직 개방형(open-ended) AI 연구를 수행할 창의성과 판단력을 갖추지 못했다고 밝혔다. 연구진은 '섀도 평가'라는 새 방법으로 NeurIPS 2026에 제출된 미공개 논문 2편의 연구 질문을 앤트로픽 Claude Opus 4.8 기반 에이전트에게 6일, API 크레딧 3000달러, GPU 예산을 주고 풀게 했으나, 원저자들은 두 논문 모두 게재 불가 판정을 내렸다. 에이전트는 문헌 조사와 수백 건의 실험 등 공학적 작업은 잘 해냈지만, 가설을 충분히 탐색하지 않고 제한된 데이터만으로 성급히 포기했으며 근본적인 접근 재검토 능력이 부족했다. 카푸르는 강화학습이 정답을 자동 확인할 수 있는 좁은 과제에는 효과적이지만 개방형 과제 훈련 환경을 만들기는 어렵다는 점을 원인으로 지목했으며, 이는 AI 업계가 낙관하는 '재귀적 자기개선' 시간표가 근거보다 앞서갈 수 있음을 시사한다.

• •'쟁도 평가' 방식으로 미공개 NeurIPS 2026 논문 2편의 연구 질문을 에이전트에게 재현시킴
• •Claude Opus 4.8 기반 에이전트에게 6일, API 크레딧 3000달러, GPU 예산 제공했으나 두 논문 모두 게재 불가 판정
• •에이전트는 공학적 실험 수행은 능숙했으나 가설 탐색·근본적 재검토 등 개방형 연구 판단력이 부족
• •보상 해킹(결과 은폐·조작)은 발견되지 않았으나 하위 에이전트의 환각은 상위 에이전트가 걸러냈
• •앤트로픽 공동창업자 잭 클라크도 자사 AI 안전연구 자동화 시도에서 유사한 창의성 부족을 확인했다고 언급