사고사슬(CoT) 추론에서 각 단계별로 계산 노력이 어떻게 분배되는지는 기존 해석가능성 기법들이 출력 수준 신호에 의존하거나 전체 궤적을 하나의 스칼라로 뭉뚱그려서 불투명하게 남아 있었다. 연구진은 인접한 트랜스포머 층 사이 토큰 은닉상태 그램 행렬 간의 중심 커널 정렬(CKA)을 이용해 개별 CoT 단계 단위로 '추론 에너지'를 정량화하는 기하학적 프레임워크 'SARE(Step-Aware Reasoning Energy)'를 제안했다. CoT 궤적을 잠재 의미 상태 간의 전이로 모델링해 이 에너지를 추론의 의미적 진행 과정 속에 위치시킨다. 6개 추론 벤치마크와 3개 오픈웨이트 언어모델에 걸친 실험에서 추론 에너지는 단계 유형에 따라 매우 불균일하게 분포하며 궤적 수준 지표로는 보이지 않는 국면 전환 양상을 보였고, 틀린 추론 궤적은 결정적인 분기점에서 체계적으로 낮은 에너지를 보였다. SARE 기반 특징은 대부분의 설정에서 출력 기반 신뢰도 지표와 대등하거나 이를 능가해, 모델 내부의 기하학적 역동성이 표면적 신호를 넘어서는 예측 정보를 담고 있음을 시사한다.

• •인접 층 은닉상태의 CKA로 CoT 단계별 계산 노력을 정량화하는 SARE 프레임워크 제안
• •CoT 궤적을 잠재 의미 상태 간 전이로 모델링해 추론 에너지를 의미적 맥락에 위치
• •6개 벤치마크·3개 오픈웨이트 모델에서 추론 에너지가 단계 유형별로 매우 불균일
• •틀린 추론 궤적은 결정적 분기점에서 체계적으로 낮은 에너지 관찰
• •SARE 특징이 대부분 설정에서 출력 기반 신뢰도 기준선과 대등하거나 능가