이 논문은 AI가 기존 지식을 학습·적용하는 수준을 넘어 미지의 영역을 탐색하고 새로운 지식을 창출할 수 있는지 평가하는 최초의 벤치마크 ASI-Bench를 소개한다. 40여 명의 전문가가 3만 1,000시간 이상을 투입해 11개 과학 분야에 걸친 60개 프로젝트 단위 연구 과제를 구축했으며, 동일 연구 프로젝트 내에서 인간의 방법론적 지침을 단계적으로 줄여가며 AI가 스스로 어디까지 나아갈 수 있는지를 시험한다. 18개 최신 에이전트·모델 조합을 평가한 결과, 평균 점수는 방법론을 완전히 안내받았을 때 50.91점에서 방법만 지정됐을 때 29.10점, AI가 스스로 방법을 정해야 할 때 26.62점으로 급락했다. 이는 현재 AI 시스템이 여전히 인간의 안내에 크게 의존하며, 프로젝트 단위의 자율적 종단 간 과학 연구와는 거리가 멀다는 점을 보여준다.

• •AI의 혁신적 탐색과 자율적 과학 실행 능력을 함께 평가하는 최초의 벤치마크 ASI-Bench를 40여 명 전문가가 3만 1,000시간을 들여 구축했다.
• •11개 과학 분야 60개 프로젝트 단위 과제에서 인간의 방법론적 지침을 단계적으로 줄여가며 AI의 자율성을 시험한다.
• •18개 최신 에이전트·모델 조합의 평균 점수가 완전 지침 제공 시 50.91점에서 자율 방법 결정 시 26.62점으로 급락했다.
• •결과는 현재 AI가 여전히 인간 안내에 크게 의존하며 자율적 종단 간 연구 수행과는 거리가 멘 상태임을 보여준다.