벤치마크 포화란 선도적인 AI 모델들이 테스트의 한계치에 근접해 점수 차이가 실제 능력 차이를 더는 잘 설명하지 못하게 되는 현상을 가리킨다. 이 가이드는 포화를 감지하고 대응하는 5단계 과정으로 점수 분포·인간 기준선 추적, 문항 변별력 점검, 오염·암기 여부 탐지, 더 어렵고 다양한 과제 추가, 소진된 지표의 폐기·재설계를 제시한다. 핵심 위험은 포화된 점수가 벤치마크 특화 꼼수를 보상하면서 실제 능력에 대한 잘못된 확신을 줄 수 있다는 점이다. 평가팀은 고정된 검증 세트로 통제 비교를 수행한 뒤 섀도 모드나 카나리, 승인 게이트 등을 통해 실제 운영 환경에서 재검증할 것을 권고한다.

• •벤치마크 포화: 모델들이 테스트 상한에 근접해 점수 차이가 무의미해지는 현상
• •대응 5단계: 점수 추적→변별력 점검→오염 탐지→과제 다양화→지표 재설계
• •핵심 위험은 포화 점수가 벤치마크 특화 꼼수를 보상해 거짓 확신을 줄 수 있다는 것
• •평가 시 고정 검증셋과 섀도 모드·카나리 등 단계적 실전 검증을 권장