AI2026년 7월 11일AI 점수: 97%
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals
출처:arXiv cs.AI
✨ AI 인사이트
🧑💻 개발자
- 1.LLM 판정 '일치=정답' 가정을 26.5만 샘플 실험으로 검증, 상관 0.20~0.59의 약한 예측력
- 2.GPQA Diamond·AIME에서 53개 러너가 각 50회 샘플링, 일치도는 조건부 프록시에 불과
- 3.최상위 프론티어 모델은 일치도 0.8 이상이 77%지만 그중 48%가 오답으로 과신 경향 확인
- 4.중위권 모델 평가·컴퓨트 배분엔 유용, 비식별 런별 데이터 공개
💡
왜 중요한가?
LLM-as-judge와 자기일관성은 기업 평가 파이프라인의 사실상 표준인데, 모델 간 합의가 공유 편향이나 암기 휴리스틱에서도 나올 수 있어 신뢰도 지표로 쓰기엔 위험하다는 실증이다. 프론티어 모델일수록 확신에 찬 오답이 많다는 점은 평가 설계 재검토를 요구한다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.08065v1 Announce Type: new Abstract: LLM-as-judge (Zheng et al., 2023) is increasingly the default for evaluating AI systems in enterprise pipelines, often scaled to ensembles (Verga et al., 2024) or "mixture-of-experts" (Shazeer et al., 2017) panels of judges. These systems share a key assumption: that consistency -- agreement among judges, or among a model's own samples -- indicates correctness. We show this assumption is unreliable. Agreement is not accuracy: a model can agree wit
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#LLM 평가#모델 일관성#신뢰도 측정#AI 시스템 감사#자기 일관성