기존 LLM 쿼리 라우터는 응답 품질과 비용만 고려하고 생성 지연시간(latency)은 무시한다는 문제의식에서, 지연·정확도·비용을 동시에 최적화하는 라우터를 제안한 연구다. 지연시간은 프롬프트 길이뿐 아니라 모델 인스턴스의 prefill·decode 부하와 서빙 프레임워크의 배칭 정책에 좌우돼 예측이 어려운데, 저자들은 자기회귀 토큰 배치 처리를 시뮬레이션해 첫 토큰까지의 시간(TTFT)을 추정하는 경량 지연 추정기를 설계했다. 이를 라우터에 통합한 결과, 라운드로빈 등 표준 로드밸런싱과 동일한 지연시간을 유지하면서 정확도-비용 효용을 최대 40% 개선했다. 동적 워크로드 환경에서 LLM 서빙 비용을 낮추려는 인프라 운영자에게 실용적인 접근이다.
- •기존 쿼리 라우터는 품질·비용만 보고 지연시간은 로드밸런서에 맡기는 분리 구조의 비효율 지적
- •서빙 프레임워크의 토큰 배치 처리를 시뮬레이션해 TTFT를 예측하는 경량 지연 추정기 설계
- •지연·정확도·비용을 동시 최적화하는 지연 인지(latency-aware) 라우터에 통합
- •표준 로드밸런싱과 동일 지연시간에서 정확도-비용 효용 최대 40% 개선
Beyond Accuracy and Cost: Latency-Aware LLM Query Routing for Dynamic Workloads
본문 미리보기
arXiv:2607.18253v1 Announce Type: new Abstract: Modern language query routers improve inference efficiency by assigning each query to a model that balances response quality and monetary cost. However, current query routers are largely latency-agnostic and do not consider the generation latency experienced by queries at model instances. In practice, latency is often controlled by load-balancing policies such as round-robin or join-the-shortest-queue, which do not account for model accuracy or in
전체 내용이 궁금하다면?
원문을 직접 읽어보세요