최신 AI는 다양한 벤치마크에서 높은 점수를 내지만 여러 전문 분야의 경제적으로 의미 있는 실배포로는 이어지지 않았다. 이 논문은 이 격차가 주로 평가 문제라고 보고, 검증 가능한 결과를 갖는 장기·경제적 가치·실세계 과제에서 AI 에이전트를 평가하는 벤치마크 'Agents' Last Exam(ALE)'을 제시한다. 250명 이상의 산업 전문가와 협력해 미국 연방 직업분류 O*NET/SOC 2018을 기준으로 비물리 산업을 정의했고, 13개 산업 클러스터·55개 하위분야·1,000개 이상 과제로 구성된 분류 체계를 갖췄다. 현재 결과는 가장 어려운 등급이 전혀 포화되지 않았음을 보여주며, 주류 하니스·백본 구성 전반의 평균 완전 통과율은 2.6%에 그쳤다. ALE는 새 워크플로와 산업이 추가될수록 과제 풀이 계속 커지는 '살아있는 벤치마크'로 설계됐으며, 단순 리더보드가 아니라 벤치마크 성공과 GDP 영향 사이 격차를 좁히는 도구를 지향한다.

• •벤치마크 성공과 실제 경제적 배포 간 격차를 '평가 문제'로 진단
• •검증 가능한 장기·경제적 가치 실세계 과제 평가 벤치마크 ALE 제안
• •250명+ 전문가 협력, O*NET/SOC 2018 기반 13개 클러스터·55개 하위분야·1,000개+ 과제
• •주류 구성 전반 평균 완전 통과율 2.6%로 최고난이도 등급은 미포화
• •과제 풀이 계속 확장되는 '살아있는 벤치마크'로 설계