스페큘러티브 디코딩(추측 디코딩)은 빠른 초안(드래프트) 모델이 여러 개의 후보 토큰을 먼저 제안하고, 더 크고 정확한 목표(타깃) 모델이 이를 병렬로 검증해 목표 모델의 출력 분포를 바꾸지 않으면서 자동회귀 생성 속도를 높이는 기법이다. 과정은 후보 토큰 블록 생성, 목표 모델의 검증, 유효한 접두어 수락, 검증 실패 시 재샘플링, 수락된 상태에서 반복이라는 5단계로 구성된다. 이 기법의 핵심 한계는 초안 모델의 제안이 목표 모델과 자주 어긋날 경우 속도 향상 효과가 사라진다는 점으로, 실제 도입 시에는 일반적인 순차 디코딩 대비 지연시간·처리량·비용을 구체적으로 측정하고 실패 사례를 추적하는 평가 체계가 필요하다고 강조된다. 저자는 '더 똑똑해졌다'는 식의 모호한 주장이 아니라, 오차율이나 처리 비용 등 측정 가능한 기준으로 성과를 검증해야 한다고 제언한다.

• •스페큐레이티브 디코딩, 초안 모델의 토큰 제안을 목표 모델이 병렬 검증해 생성 속도를 높이는 기법
• •목표 모델의 출력 분포(품질)는 변경하지 않으면서 지연시간만 줄이는 것이 핵심
• •과정은 후보 생성→검증→수락→재샘플링→반복의 5단계로 구성
• •초안 모델과 목표 모델의 제안이 자주 불일치하면 속도 향상 효과가 붕괴되는 것이 핵심 한계
• •도입 여부는 모호한 성능 주장이 아닌 지연시간·비용·오차율 등 구체적 측정 기준으로 판단해야 함