아마존 세이지메이커 추론(SageMaker Inference)이 프롬프트 접두어(prefix)를 인식해 동일한 시작 부분을 가진 요청을 같은 인스턴스로 보내는 '프리픽스 인지 라우팅(prefix-aware routing)'을 새로 도입했다. 기존에는 요청이 여러 인스턴스에 무작위로 분산돼 KV 캐시가 제대로 쌓이지 않았지만, 이 기능은 동일 접두어 요청을 한 인스턴스로 모아 캐시 재사용률을 높인다. Llama 3.1 70B 벤치마크에서 최초토큰생성시간(TTFT) P50 기준 최대 77% 감소, 처리량 최대 16% 증가, KV 캐시 적중률은 약 25%에서 80% 이상으로 상승했다. RAG, 멀티턴 대화, 템플릿 기반 챗봇, 코드 자동완성 등 요청 간 공통 접두어가 긴 워크로드에서 효과가 크며, 엔드포인트 설정만 변경하면 모델 재배포 없이 적용할 수 있다.

• •동일 프롬프트 접두어를 가진 요청을 같은 인스턴스로 라우팅해 KV 캐시 재사용률 높임
• •Llama 3.1 70B 벤치마크에서 P50 TTFT 최대 77% 감소, 처리량 최대 16% 증가
• •KV 캐시 적중률 약 25%에서 80% 이상으로 상승
• •PrefixLength(1024~65536)·ConcurrencyThreshold 두 파라미터로 설정, 라우팅 오버헤드는 요청당 1.3~1.9ms로 미미
• •RAG·멀티턴 대화·템플릿 봇·코드 자동완성 등 공통 접두어 긴 워크로드에 효과 컴