허깅페이스 정책 책임자 아이린 솔레이먼은 테크크런치 디스럽트 행사에서 AI 모델 벤치마킹의 재현성과 평가 간 비교 기준 부재 문제를 지적하며, 평가 과학이 아직 충분히 성숙하지 않았다고 말했다. 그는 평가 결과를 신뢰하려면 모델에 대한 접근 수준, 특히 오픈 웨이트 여부가 중요하다고 설명했다. 최근 AI 안전 사고가 늘면서 업계 내부에 중립적 평가자를 두는 '임베디드 이밸류에이터' 방식이 주목받고 있으나, 앤트로픽이 컨설팅기업 액센츄어를 첫 평가자로 선정한 것을 두고 적합성 논란이 일었다고 전했다. 솔레이먼은 평가가 모델 자체를 넘어 하네스(harness)와 에이전트를 포함한 전체 시스템을 검증하는 방향으로 이동하고 있으며, 약한 모델도 더 좋은 하네스를 갖추면 프론티어 모델을 능가할 수 있다고 지적했다.

• •허깅페이스 솔레이먼, AI 벤치마킹의 재현성·비교 기준 부재 문제 지적
• •평가 신뢰도는 모델 접근성, 특히 오픈 웨이트 여부에 크게 좌우
• •앤트로픽의 액센츄어 첫 평가자 선정에 적합성 논란 발생
• •'임베디드 이밸류에이터' 자격 기준의 표준화 필요성 제기
• •평가 대상이 모델 단독에서 하네스·에이전트 포함 전체 시스템으로 확장 중