이 논문은 2022년 1월부터 2026년 8월까지 arXiv에 제출된 평가 자료 관련 논문 14,767건을 체계적으로 분석해 LLM 벤치마크 설계가 어떻게 변화해왔는지를 지도화한다. 모델 순위만으로는 평가 요건 자체의 변화를 알 수 없다는 문제의식에서, 대상 시스템과 도메인, 평가 자료와 조건, 채점 방식의 변화를 단계적 스크리닝과 자동 전문 코딩으로 조사했다. 그 결과 행동·상호작용·전문 응용 분야에 대한 강조가 커지는 한편 기존 설계 요소와 새로운 요소가 함께 공존하는 경향이 확인됐다. 또한 LLM 기반 채점은 에이전트·비에이전트 그룹 모두에서 증가한 반면, 모델이 생성한 평가 자료는 최근 들어 뚜렷한 증가세를 보이지 않았다. 연구진은 AI가 테스트 제작·과제 수행·응답 판정에 모두 관여하게 되면서, 평가 확대가 더 독립적인 증거를 제공하는지 아니면 참여 모델들의 편향을 재생산하는 위험이 있는지 질문을 던진다.

• •2022년 1월~2026년 8월 arXiv 평가 관련 논문 14,767건을 분석해 LLM 벤치마크 설계 변화 지도화
• •행동·상호작용·전문 응용 분야에 대한 평가 비중 증가, 기존·신규 설계 요소 공존
• •LLM 기반 채점은 에이전트·비에이전트 그룹 모두에서 증가, 모델 생성 평가자료는 뜻렯한 증가세 없음
• •AI가 테스트 제작·수행·판정에 모두 관여하며 평가 확대가 독립적 증거인지 편향 재생산인지 문제 제기