대형 추론 모델(LRM)은 답변 전에 긴 사고사슬 추론 과정을 생성해 상당한 추론 오버헤드를 유발하며, 가지치기(pruning)로 이를 줄일 수 있지만 효과는 파라미터 중요도를 추정하는 데 쓰이는 보정 데이터에 좌우된다. 기존에는 모델 자체 롤아웃으로 보정하는 방식이 제안됐으나, 모든 추론 토큰을 균일하게 취급해 성공적 추론에 기여했는지 여부와 무관하게 통계적 현저성만으로 가중치를 보호한다. 이 논문은 이 격차를 해소하기 위해 결과 기반 보정 가지치기(OBC-Prune)를 제안한다. 모델이 일관되지 않게 답하는 문제들에서 난이도를 맞춘 정답·오답 롤아웃 쌍을 구성하고, 개입 기반 분석으로 각 추론 문장의 인과적 중요도를 추정해 이를 SparseGPT·Wanda·ALPS 같은 기존 원샷 가지치기 알고리즘의 보정 활성화를 재조정하는 토큰별 가중치로 변환한다. DeepSeek-R1-Distill-Qwen 1.5B·7B·14B 모델의 희소도 40%·50% 실험에서 MATH500, LiveCodeBench, AIME 2025 전반에 걸쳐 기존 최신 보정 기법 대비 일관된 성능 향상을 보였다.

• •추론 토큰의 인과적 중요도를 반영하는 결과 기반 보정 가지치기 OBC-Prune 제안
• •난이도를 맞춘 정답·오답 롬아웃 쌍과 개입 기반 분석으로 문장별 인과 중요도 산출
• •기존 원샷 가지치기 알고리즘(SparseGPT·Wanda·ALPS)의 보정 방식을 그대로 활용 가능
• •1.5B~14B 모델, 희소도 40~50%에서 MATH500·LiveCodeBench·AIME 2025 전반 일관된 개선