FineServe는 글로벌 상용 마켓플레이스에서 수집한 실제 멀티모델 LLM 서빙 워크로드 데이터셋으로, 프록시 트레이스나 거친 특성화에 의존하던 기존 연구의 한계를 메운다. 요청 도착 패턴과 토큰 거동을 세밀하게 분석한 결과, 모델 아키텍처·규모·작업 의도에 따라 변동 양상이 근본적으로 다르다는 사실을 확인했다. 이 통찰을 바탕으로 모델 인지형 세분화 워크로드를 조합해 벤치마킹용 혼합 부하를 구성하는 FineServe 워크로드 생성기도 개발했다. 라우팅·스케줄링·용량 계획 전략을 현실적 조건에서 평가할 수 있는 기반을 제공하며, GitHub에 공개되어 LLM 서빙 시스템 연구자와 인프라 운영자가 바로 활용할 수 있다.
- •글로벌 상용 마켓플레이스에서 수집한 실제(in-the-wild) 멀티모델 LLM 서빙 워크로드 데이터셋 공개
- •모델 아키텍처·규모·작업 의도별로 근본적으로 다른 변동 레짐 확인
- •모델 인지형 워크로드를 조합해 벤치마킹용 혼합 부하를 만드는 워크로드 생성기 제공
- •라우팅·스케줄링·용량 계획 전략 평가의 현실적 기반, GitHub 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads
- 1.글로벌 상용 마켓플레이스에서 수집한 멀티모델 LLM 서빙 워크로드 데이터셋 FineServe 공개
- 2.모델 아키텍처·규모·태스크 의도별로 근본적으로 다른 요청 변동 패턴 규명
- 3.모델 인지형 워크로드를 조합하는 설정 가능한 벤치마크용 워크로드 생성기 제공
- 4.라우팅·스케줄링·용량 계획 전략 평가의 현실적 기반 마련, GitHub 공개
왜 중요한가?
기존 서빙 연구가 프록시 트레이스에 의존해 실제 멀티모델 플랫폼의 이질성을 놓쳤던 반면, 상용 환경 실측 데이터를 공개해 라우팅·스케줄러 연구의 재현 가능한 기준을 세웠다. LLM 서빙 인프라 최적화 연구·운영 양쪽에 직접 쓰이는 자원이다.
언급 프로젝트
본문 미리보기
arXiv:2607.19349v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly deployed as always-on online services, making efficient LLM serving a critical systems challenge. Achieving low latency and high throughput under volatile demand requires deep understanding of real-world serving workloads, yet existing studies often rely on proxy traces or coarse-grained characterizations that fail to capture the heterogeneity of modern multi-model LLM platforms. We present FineServe,
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안
