Artificial Analysis v5 and the benchmarker's dilemma↗ (원문, 새 창)

AI 연구자 네이선 램버트가 아티피셜 애널리시스의 신규 지수(AAv5)를 계기로 독립 AI 벤치마크 산업이 처한 딜레마를 분석했다. 그는 AAv5가 지식노동, 코딩, 과학, 범용 네 영역에 각각 25%씩 가중치를 두고 세부 벤치마크를 조합해 집계한다고 소개하며, 오픈모델과 비공개 모델 간 격차가 특히 '과학' 평가에서 두드러진다고 짚었다. 그는 벤치마크를 하나의 숫자로 압축해야 하는 구조적 역설을 지적하면서, 비공개 테스트셋 도입이 '벤치맥싱' 방지에는 도움이 되지만 커뮤니티의 오류 검증 기능을 약화시킨다고 우려했다. 또한 아티피셜 애널리시스의 수익 모델이 랩들로부터 검증 비용을 받는 구조라는 점을 짚으며, 비영리·학계·정부기관일수록 공정성에 대한 신뢰가 높다고 평가했다. 그는 오픈AI와 앤트로픽 등 최상위 랩들이 이미 이런 공개 지수보다 내부 AI R&D 자동화와 고객 활용 사례에 집중하고 있다고 덧붙였다.

• AAv5, 지식노동·코딩·과학·범용 4개 영역에 각 25% 가중치로 집계하는 새 지수
• 지수의 60%가 비공개 테스트셋 기반으로 전환, 외부 오류검증은 약화
• 오픈모델은 특히 '과학' 평가에서 비공개 모델과의 격차가 두드러짐
• 아티피셜 애널리시스의 수익모델(랩 대상 검증비) 때문에 비영리·학계 기관의 신뢰도가 상대적으로 높다고 평가
• 최상위 랩들은 이미 내부 R&D 자동화와 고객 활용에 집중, 공개 지수 영향력은 제한적