AI 모델 평가기업 아티피셜 애널리시스가 사용자가 자신의 데이터와 업무에 맞춰 직접 벤치마크를 만들 수 있는 플랫폼 '옵티마'를 14일 출시했다. 사용자는 자체 평가 데이터를 업로드하거나 허깅페이스, 어라이즈 AI 등 관측 플랫폼에서 에이전트 실행 기록을 불러와 테스트셋을 구성하고, 자연어로 사용 사례를 설명해 맞춤형 벤치마크를 만들 수 있다. 옵티마는 모델 성능뿐 아니라 작업당 비용과 처리 시간까지 함께 측정해 성능·비용·속도의 균형을 비교하도록 돕는다. 베타 테스트에서는 금융·법률·이미지 인식 등 특정 업무에 최적화된 모델을 찾는 데 활용됐다.

• •아티피셜 애널리시스가 8월 14일 맞춤형 AI 벤치마크 플랫폼 '옵티마'를 출시했다.
• •자체 데이터 업로드, 허깅페이스 연동, 자연어 설명 등 다양한 방식으로 벤치마크 생성 가능.
• •모델 성능과 함께 작업당 비용·처리 시간을 측정해 성능-비용-속도 균형을 비교.
• •베타 테스트에서 금융·법률·이미지 인식 등 특정 업무 최적 모델 탐색에 활용됨.