2024년 설립된 AI 벤치마킹 스타트업 밸스(Vals)가 낡은 학술 벤치마크가 최신 모델의 발전 속도를 따라가지 못한다는 문제의식에서 출발해, 최근 안드리센 호로위츠 주도로 4000만달러 규모의 시리즈A를 유치했다. 창업자 라이언 크리슈난은 밸스가 시험 문항을 공개하지 않아 모델이 시험에 맞춰 학습하는 것을 막고, 법률·금융·코딩 등 실제 산업 업무 수행 능력과 부정적 영향 가능성까지 평가한다고 설명했다. 회사는 재귀적 자기개선, 정신건강, 사이버보안, 생물보안, 전쟁법 등 새로운 영역으로도 평가를 확장하고 있으며, 매출은 전년 대비 8배 성장하고 직원은 8명에서 25명으로 늘었다. 크리슈난은 AI 기업들의 상장이 이어지면서 밸스와 같은 벤치마킹이 기업 공시와 투자 판단의 핵심 요소가 될 것으로 전망했다.

• •밸스, 2024년 설립된 AI 벤치마킹 스타트업, a16z 주도로 4000만달러 시리즈A 유치
• •시험 문항 비공개로 모델이 벤치마크에 맞춰 학습(치팅)하는 것을 방지
• •법률·금융·코딩 등 실제 산업 업무 수행 능력과 부정적 영향까지 평가
• •재귀적 자기개선·정신건강·사이버보안·생물보안·전쟁법 등으로 평가 영역 확장
• •매출 전년비 8배 성장, 직원 8명→5명, 연방기관 대상 모델 평가 프로그램도 최근 출시