좋은 벤치마크 과제가 갖춰야 할 조건을 제시한 논문이다. 좋은 과제는 정확하고, 풀 수 있고, 검증 가능하며, 명세가 분명하고, 흥미로운 이유로 어려워야 한다고 주장한다. 최고의 과제는 숙련된 실무자가 알아볼 만한 실제 문제를 실무자의 언어로 기술하고, 접근 방식이 아니라 결과를 검증하는 테스트를 갖춘 과제다. AI 모델 평가 벤치마크를 설계하거나 선별할 때 과제 품질을 판단할 실용적 기준을 제공한다.

• •좋은 과제의 5가지 조건: 정확성, 풀이 가능성, 검증 가능성, 명확한 명세, 흥미로운 이유의 난이도
• •최고의 과제는 실무자가 인식할 실제 문제를 실무자의 언어로 기술
• •테스트는 접근 방식이 아닌 결과를 검증해야 함