교통관리센터(TMC)의 이상 탐지·사고 보고 등 여러 기능에 어떤 파운데이션 모델을 어떤 배포 방식으로 할당할지를 총소유비용(TCO) 최소화 혼합정수계획으로 정식화한 FMDP(Foundation Model Deployment Portfolio) 연구다. 기능별 품질·지연·안전 제약과 공유 GPU 용량 하에서 문제를 정의하고, 0-1 배낭 문제 환원으로 NP-hard임을 증명한 뒤 다항시간 그리디 휴리스틱을 제안했다. 5개 기능, 19개 (모델, 모드) 후보 사례 연구에서 4개 기능은 오픈소스 API로, 품질 기준을 오픈소스가 못 맞추는 1개 기능만 폐쇄형 API로 라우팅해 월 34달러—전량 폐쇄형 API 대비 97% 절감—의 혼합 포트폴리오를 찾았다. 손익분기 분석 결과 온프레미스 GPU 투자는 시간당 약 309건 이상의 비전 쿼리 또는 API 가격 2배 상승 시에만 합리적이어서, LLM 배포 비용 설계에 정량 기준을 제공한다.
- •기능별 모델·배포모드 선택을 TCO 최소화 혼합정수계획(FMDP)으로 정식화, 0-1 배낭 문제 환원으로 NP-hard 증명
- •다항시간 그리디 휴리스틱으로 품질·지연·안전 제약과 공유 GPU 용량 하에서 해 탐색
- •사례 연구: 오픈소스 API 4기능+폐쇄형 API 1기능 혼합으로 월 34달러, 전량 폐쇄형 대비 97% 절감
- •온프레미스 GPU는 시간당 약 309건 이상 비전 쿼리 또는 API 가격 2배 상승 시에만 합리적이라는 손익분기 분석
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management
- 1.교통관리센터 기능별 파운데이션 모델 배치를 TCO 최소화 혼합정수계획으로 정식화한 FMDP 제안, NP-hard 증명
- 2.5개 기능·19개 (모델, 모드) 조합 사례에서 월 $34 혼합 포트폴리오 도출 — 전량 폐쇄형 API 대비 97% 절감
- 3.품질 기준 미달 1개 기능만 폐쇄형 API로, 나머지 4개는 오픈소스 API로 라우팅
- 4.온프레미스 GPU 투자는 시간당 약 309 비전 쿼리 이상 또는 API 가격 2배 시에만 합리적이라는 손익분기 분석
왜 중요한가?
LLM/VLM 도입 시 '어떤 모델을 어떤 배치 방식으로 쓸까'를 감이 아닌 최적화 문제로 푸는 틀을 제시했고, 오픈소스 라우팅만으로 비용을 수십 배 줄일 수 있음을 수치로 보였다. 기업 AI 인프라 비용 의사결정에 참고할 만한 방법론이다.
교통 관리를 위한 파운데이션 모델의 비용 최적 배포 전략은 스마트시티와 지능형 교통 시스템에 적극적인 한국에 매우 중요한 시사점을 제공합니다. 고비용의 LLM, VLM을 국내 교통 관리 센터에 효율적으로 적용하여 예산 효율성을 높이는 방안은 주요 정책 결정에 영향을 미칠 것입니다.
본문 미리보기
arXiv:2607.13239v1 Announce Type: new Abstract: Foundation models, including large language models (LLMs) and vision-language models (VLMs), are increasingly used for transportation management center (TMC) tasks such as anomaly detection, incident reporting, and traveler information. Deploying multiple such models across TMC functions raises a portfolio question: which model should serve each function, in which deployment mode, and under what shared hardware budget? We formulate this as the Fou
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
