영국 AI안보연구소(AISI)가 EvalEval 연합의 공개 인프라 'Every Eval Ever' 스키마와 Evaluation Cards 플랫폼을 활용해 벤치마크 평가 결과를 공개하기 시작했다. 이번 공개에는 HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro, Terminal-Bench 2.0 등 5개 벤치마크에 대해 Claude Opus 4/4.5/4.6, GPT-5/5.2/5.4 등 6개 프론티어 모델의 검증된 결과와 설정 정보가 포함됐으며, 사이버 보안 관련 2개 평가 결과도 함께 공개됐다. 이 데이터는 추론 시점 연산량과 평가 프로토콜이 벤치마크 성능에 미치는 영향을 다룬 AISI 논문을 뒷받침한다. 설정 정보까지 공개된 검증된 결과는 서로 다른 조건에서 나온 점수를 비교·해석하는 참고점이 되어, 재현 가능하고 신뢰할 수 있는 메타 연구 생태계 구축에 기여할 것으로 기대된다.
- •영국 AISI가 EvalEval의 'Every Eval Ever' 스키마로 벤치마크 결과를 공개 공유
- •HealthBench 등 5개 벤치마크와 Claude Opus 4~4.6·GPT-5~5.4 6개 모델의 검증 결과 포함
- •추론 컴퓨트·평가 프로토콜이 성능에 미치는 영향을 다룬 AISI 논문을 뒷받침
- •사이버보안 관련 2개 평가(Cyber CTFs 등) 결과도 함께 공개
- •설정 정보 포함 공개로 평가 간 비교·재현성 있는 메타 연구 지원
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
How UK AISI and EvalEval Are Making Benchmark Results Reproducible
- 1.영국 AI안보연구소(AISI), EvalEval의 'Every Eval Ever' 스키마로 평가결과 공개 협력
- 2.HealthBench·FrontierMath·HLE 등 5개 벤치마크, Opus 4~4.6·GPT-5~5.4 등 6개 모델 결과 공개
- 3.사이버 평가 Cyber CTFs·The Last Ones 결과도 함께 공개, 일부는 다른 모델군으로 구성
- 4.'추론 연산이 벤치마크 성능에 미치는 영향' 논문과 함께 설정 정보 포함해 재현성 확보
왜 중요한가?
벤치마크 결과가 서로 다른 평가 프로토콜과 추론 연산량 조건에서 산출돼 단순 점수 비교가 오해를 부를 수 있다는 문제의식 아래, 정부 산하 AI안전기관이 설정 정보를 포함한 검증된 결과를 공개함으로써 벤치마크 재현성과 메타연구의 신뢰도를 높이는 인프라를 구축했다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

