New Artificial Analysis index widens the gap between open and closed models↗ (원문, 새 창)

AI 벤치마크 업체 아티피셜 애널리시스가 '인텔리전스 인덱스'를 전면 개편한 v5를 내놓으면서 오픈모델과 비공개(폐쇄형) 모델 간 격차가 크게 벌어졌다. 기존 4위였던 키미 K3.1 프로는 새 지수에서 8개 비공개 모델에 밀려 9위로 떨어졌고, 오픈-비공개 모델 간 점수 차이는 기존 3점에서 12점으로 확대됐다. 이번 버전은 '벤치맥싱'(알려진 테스트 문항으로 모델을 맞춤 학습시키는 관행)을 막기 위해 지수의 60%를 비공개 테스트셋에 기반하도록 바꿨다. 다만 비공개 테스트셋은 외부에서 오류를 발견하기 어렵다는 단점도 있어, AA-옴니사이언스 지식 테스트의 모호하거나 잘못된 문항들을 수정하는 작업도 함께 진행됐다. AI 연구자 네이선 램버트는 벤치맥싱 외에도 특정 벤치마크와 유사한 과제로 강화학습을 진행하는 관행이 점수 차이에 영향을 준다고 분석했다.

• 아티피셜 애널리시스, '인텔리전스 인덱스' v5로 전면 개편
• 키미 K3.1 프로, 기존 4위에서 9위로 하락…오픈-비공개 모델 격차 3점→12점으로 확대
• 벤치맥싱 방지 위해 지수의 60%를 비공개 테스트셋 기반으로 전환
• 비공개 테스트셋은 외부 오류 검증이 어려운 단점, AA-옴니사이언스 문항 오류 수정도 병행
• 연구자 네이선 램버트, 벤치마크와 유사한 RL 환경 학습이 점수 격차의 주요 원인으로 지목