LLM 심사위원(LLM-as-judge) 앙상블이 전제하는 '합의=정확성'이라는 가정이 신뢰할 수 없음을 대규모로 입증한 연구다. 모델은 공유된 편향, 암기된 휴리스틱, 선택지 위치 선호 때문에 자기 자신 또는 다른 모델과 진실이 아닌 이유로 합의할 수 있다. GPQA Diamond·AIME에서 53개 러너가 K=50 샘플씩 총 26만5천 샘플을 뽑아 분석한 결과, 합의는 정확성의 양의 상관이지만 약한 예측자(rho 0.20~0.59)였고 유용성은 상황 의존적이었다. 미포화 중급 모델과 연산 배분에는 유용하나, 가장 일관된 프론티어 모델에서는 과신만 커질 뿐 정확도는 나아지지 않았다(합의≥0.8인 GPQA 항목의 48%가 오답). 자기일관성은 독립적 신뢰도 점수가 아닌 조건부 대리지표로만 써야 함을 시사한다.

• •심사위원 간 또는 자기 샘플 간 '합의=정확성' 가정이 공유 편향·암기 휴리스틱 때문에 신뢰할 수 없음을 입증
• •GPQA Diamond·AIME에서 53개 러너, 총 26만5천 샘플 규모의 교차 분석 수행
• •합의는 약한 예측자(rho 0.20~0.59)로, 미포화 중급 모델·연산 배분에만 유용
• •가장 일관된 프론티어 모델은 합의≥0.8 항목의 48%가 오답으로 과신만 커짐
• •자기일관성은 독립적 신뢰도 점수가 아닌 조건부 대리지표임, 익명화된 데이터 공개