단일 모델의 반복 샘플링(self-consistency)이 모델의 무지를 드러내는지 검증한 연구다. 같은 질문 세트에 대해 한 모델을 τ=1로 100회 실행한 경우와 24개 LLM 앙상블을 τ=0으로 1회씩 실행한 경우를 비교하고, Marchenko-Pastur 랜덤 행렬 검정으로 신호와 샘플링 노이즈를 분리했다. 5개 모델 계열과 3개 벤치마크(MMLU, HellaSwag, GSM8K)에서 단일 모델 내 변동은 노이즈를 넘는 차원이 최대 1개에 그친 반면, 다양한 앙상블에서는 4개의 고유값이 노이즈 경계를 넘었다. 즉 self-consistency는 질문별 불확실성 추정에는 유효하지만 관련 질문들이 함께 틀리는 교차 질문 구조는 포착하지 못하며, 모델이 무엇을 모르는지는 다양한 모델 앙상블만이 드러낸다. 온도 샘플링 기반 불확실성 정량화의 근본 한계를 보여주는 결과다.

• •단일 모델 100회 샘플링(τ=1) vs 24개 LLM 앙상블 1회씩(τ=0)을 동일 질문에서 비교
• •Marchenko-Pastur 랜덤 행렬 검정으로 신호와 샘플링 노이즈 분리
• •단일 모델 내 변동은 최대 1개 차원만 노이즈 초과, 앙상블은 4개 고유값이 경계 돌파
• •self-consistency는 질문별 불확실성에만 유효—교차 질문 구조는 다양한 앙상블만 포착