이 논문은 옵션 순서, 프롬프트 문구, 답변 판정 방식(생성 텍스트 vs 확률) 등 평가 하네스 설정이 LLM 벤치마크 순위를 좌우한다는 점을 대규모로 입증했다. ARC, HellaSwag, MMLU, TruthfulQA 등 4개 벤치마크의 3679개 문항에 대해 12개 오픈웨이트 모델을 26가지 하네스 설정으로 평가한 '취약성 그리드(fragility grid)'를 구축한 결과, gemma4-31b의 점수는 하네스에 따라 31%에서 89%까지 벌어졌다. 인접 모델 간 격차의 95.7%가 설정에 취약한 소수 문항에서 발생했으며, 12개 모델 중 4개가 설정에 따라 1위를 차지할 수 있어 사실상 하네스가 승자를 결정하는 셈이었다. 벤치마크 압축 기법이 오히려 이런 취약 문항을 걸러내지 못하고 남겨둔다는 점도 확인됐다.

• •동일 문항·모델이라도 하네스 설정(옵션순서·판정방식)에 따라 점수 최대 58%p 차이
• •12개 모델 중 4개가 설정에 따라 1위 차지 가능…하네스가 순위 결정
• •모델 간 격차의 95.7%가 소수의 '설정 취약' 문항에서 발생
• •벤치마크 압축 기법이 취약 문항을 제거하지 못하고 오히려 유지