긴 출력 추론이 많아지면서 키-값(KV) 캐시가 LLM 서빙의 핵심 메모리 병목이 되고 있다. 기존 KV 압축 기법은 요청별로 미리 정한 고정 용량 안에서 어떤 KV 상태를 유지할지만 조정할 뿐, 디코딩 내내 총 용량은 그대로 둔다. 연구진은 KV 용량을 런타임 자원으로 취급하는 온디맨드 예산 프레임워크 'GrowPage'를 제안한다. 최근·장기 어텐션 행태를 포착하는 경량 이중 시간축 쿼리 요약을 유지하고, 상대적 어텐션 작업집합으로 수요 변화를 추정해 용량 경계마다 현재 할당 내에서 압축하거나 필요시 추가 물리 페이지를 확보한다. 페이지드어텐션(PagedAttention)의 페이지 단위 메모리 추상화와 통합돼 연속 배칭과 프리픽스 캐싱을 유지하며, 여러 모델의 추론 벤치마크에서 기존 기법 대비 우수한 성능-처리량 균형을 달성했다.

• •긴 출력 추론에서 KV 캐시가 LLM 서빙의 핵심 메모리 병목으로 부상
• •기존 기법은 요청별 고정 용량 내에서만 조정, 총 용량은 디코딩 내내 고정
• •KV 용량을 런타임 자원으로 다루는 온디맨드 예산 프레임워크 GrowPage 제안
• •이중 시간축 쿼리 요약으로 수요 변화를 추정해 압축 또는 추가 페이지 확보 결정
• •페이지드어텐션과 통합돼 연속 배칭·프리픽스 캐싱 유지하며 성능-처리량 균형 개선