70B 파라미터 모델을 훈련하고 프로덕션에 배포했더니 초당 15토큰, 사용자가 3초간 대기해야 첫 문장이 나오는 문제에 직면한 저자가 Speculative Decoding을 AWS Trainium 실리콘에 매칭해 자기회귀(AR) 병목을 뚫은 경험을 소개. 드래프트 모델이 여러 토큰을 예측하고 대형 모델이 병렬로 검증하는 구조로, 추론 지연이 극적으로 개선. '목적 특화 실리콘 + 단순하지만 우아한 알고리즘'이 LLM 성능 천장을 깬 사례라는 주장.

• •70B 모델 프로덕션 배포 시 15 tokens/sec, 3초 첫 토큰 대기
• •Speculative Decoding으로 자기회귀 병목 돌파
• •드래프트 모델 + 대형 모델 병렬 검증 구조
• •AWS Trainium 목적 특화 실리콘과 결합
• •알고리즘 + 하드웨어 공동 설계의 실용 성과