프론티어 LLM은 자주 업데이트되며 평균적으로 이전 모델보다 성능이 좋지만, 이런 전체 평균 향상이 개별 샘플 수준에서는 "회귀(regression)"—구모델에서 맞았던 답이 신모델에서 틀리는 현상—를 감추곤 한다. 이 논문은 추론 시점에 얻을 수 있는 신호로 이런 회귀를 예측하는 방법을 연구해, 단일 모델 신호(신뢰도, 로짓 마진, 어텐션 엔트로피)와 버전 간 신호(출력 KL 발산, 우도 드리프트, 표현 드리프트)를 통일된 부가가치 테스트로 비교했다. 3개 과제군(객관식 QA, 수학 추론, 코드 생성) 6개 벤치마크와 6개 모델 업데이트 쌍에서, 신뢰도는 객관식과 쉬운 수학에서 가장 강했고 우도/KL 신호는 어려운 수학과 코드에서 더 자주 이겼으며, 모든 업데이트에 보편적으로 최선인 단일 신호는 없었다. 일부 버전 간 신호는 라벨 없이도 신뢰도가 실패하는 상황에서 유효해, 위험도 높은 샘플을 구모델로 되돌리는 선택적 폴백의 가능성을 제시한다.

• •단일 모델 신호(신뢰도 등)와 버전 간 신호(KL 발산, 우도 드리프트 등)를 통일 테스트로 비교해 샘플 수준 모델 회귀 예측력을 평가.
• •신뢰도는 객관식 QA·쉬운 수학에, 우도/KL 신호는 어려운 수학·코드에서 가장 유효함.
• •모든 업데이트에 보편적으로 최적인 단일 신호는 존재하지 않음.
• •일부 버전 간 신호는 라벨 없이도 유효해 고위험 샘플을 구모델로 돌리는 선택적 폴백이 가능함을 시사.