이 논문은 트랜스포머 기반 LLM의 프리필 지연 문제를 해결하기 위해 콘텐츠 위치에 상관없이 KV 캐시를 재사용할 수 있는 KVBoost 시스템을 제안한다. 위치 정보(prefix hash)와 콘텐츠 정보(content hash)를 분리하는 이중 해시 키 기법으로 임의 위치의 공유 콘텐츠도 캐시 재사용이 가능하도록 했고, 경계 영역 재인코딩(SelectiveRecompute)과 고편차 토큰만 재계산하는 방식(CacheBlendRecompute)으로 어텐션 경계 오류를 보정한다. Qwen2.5-3B 모델로 1000개 버그 위치 파악 샘플에서 평가한 결과, 첫 토큰 생성 시간이 639.1ms에서 142.4ms로 4.49배 단축됐고 정확도 손실 없이(99.2% vs 99.1%) 기존 프리픽스 캐싱보다 16% 더 우수한 성능을 보였다. int8/int4 비대칭 양자화와 적응형 청크 분할까지 결합해 메모리 제약 하에서도 실용적인 추론 가속을 제공한다.

• •KVBoost, 위치·콘텐츠 해시 분리로 임의 위치 콘텐츠도 KV 캐시 재사용 가능
• •Qwen2.5-3B 실험서 첫토큰생성시간 639.1ms→142.4ms로 4.49배 단축
• •정확도 손실 없이(99.2% vs 99.1%) 기존 프리픽스 캐싱 대비 16% 성능 우위
• •int8/int4 양자화·적응형 청크 분할 결합해 메모리 제약 하 실용적 가속 제공