[10월20일] AI는 과학 연구를 얼마나 잘할까…일반 업무와 달랐던 성능 순위↗ (원문, 새 창)

AI 평가 스타트업 발스 AI가 생물학 데이터 분석, 실험을 통한 원리 발견, 실제 연구 작업 등 세 가지 벤치마크를 결합한 '발스 사이언스 인덱스'를 처음 공개했다. 오픈AI의 GPT-6 아스트라가 65.09%로 종합 1위를 차지했지만, 생물학 데이터 분석에서는 클로드 소네트 5.5가 1위에 오르는 등 세부 분야별로 강점이 엇갈렸다. 일반 업무 능력을 평가하는 기존 종합 지수에서 1위였던 제미나이 4 아르곤은 과학 지수에서 5위에 그치고, 과학 지수 1위 아스트라는 일반 업무 지수에서 7위로 떨어져 모델별 역량이 평가 영역에 따라 크게 달라짐을 보여줬다. 이는 AI 성능을 하나의 종합 점수로 판단하기보다 실제 수행 과제별로 구분해 평가해야 한다는 흐름을 뒷받침한다.

• 발스 AI가 바이오미스터리벤치·미스터리메커니즘·터미널벤치 사이언스 3개를 결합한 과학 지수 공개
• 21개 모델 중 GPT-6 아스트라가 65.09%로 종합 1위, GPT-6.1 솔·클로드 소네트 5.5가 근소한 차이로 2·3위
• 생물학 데이터 분석은 클로드 소네트 5.5, 지구과학은 GPT-6.1 솔이 각각 최고 성적
• 일반 업무 지수 1위 제미나이 4 아르곤은 과학 지수에서 5위, 과학 1위 아스트라는 일반 지수 7위로 역전
• 발스 AI는 2024년 설립, 지난 8월 a16z 주도로 4000만달러 투자 유치해 기업가치 4억달러 인정