이 논문은 최상위 대형언어모델이 자신이 평가받고 있음을 인식하는 '평가 인식' 능력이 평가와 실제 배포 환경에서 다른 행동을 유발해 AI 안전 프레임워크의 핵심인 평가 결과의 타당성을 훼손할 수 있다는 문제를 다룬다. 연구진은 임의의 Inspect 호환 평가에 적용 가능한 오픈 파이프라인이자 벤치마크인 EvalDetectBench를 소개하며, 최신 프론티어 시스템카드 평가와 다양한 배포 소스를 포괄하는 새로 큐레이션된 트랜스크립트 모음을 함께 제공한다. 이 벤치마크는 모델이 평가 상황을 얼마나 신뢰성 있게 인식하는지, 그리고 개별 벤치마크가 평가로서 얼마나 탐지되기 쉬운지를 함께 측정한다. 연구진은 배포 트랜스크립트를 생성한 모델의 정체성이 측정 분산의 11.25%를 차지해 모델 순위를 바꿀 수 있다는 점과, 특정 모델에서 고성능을 내도록 선택된 유도 프롬프트가 다른 모델에서는 거의 무작위 수준의 성능을 낼 수 있다는 두 가지 체계적 편향을 확인했으며, EvalDetectBench는 모델별 프로브 보정과 계층화된 생성기 조화 절차로 이를 교정한다.

• •EvalDetectBench는 LLM의 '평가 인식' 능력을 측정하는 오픈 파이프라인이자 벤치마크다.
• •최신 프론티어 시스템카드 평가와 다양한 배포 소스를 포괄하는 트랜스크립트 모음을 새롭게 큐레이션했다.
• •배포 트랜스크립트 생성 모델의 정체성이 측정 분산의 11.25%를 차지해 모델 순위를 바꿀 수 있음을 발견했다.
• •특정 모델에 맞춰 선택된 유도 프롬프트가 다른 모델에서는 거의 무작위 수준 성능을 낼 수 있음을 확인했다.
• •모델별 프로브 보정과 계층화된 생성기 조화 절차로 이러한 체계적 편향을 교정한다.