AI 인프라 스타트업 다르마AI가 GPU 할당 순서를 최적화하는 제약 인식 스케줄러를 개발해, 선착순(FIFO) 방식 대비 동일 하드웨어에서 GPU 활용률을 최대 33%포인트, 우선순위 가중 산출량을 최대 105% 끌어올렸다고 밝혔다. 훈련·배치추론·양자화 같은 '블록형' 작업과 실시간 추론 같은 '탄력형' 작업이 같은 GPU를 두고 경쟁하는 문제를, 실시간 수요를 곡선으로 예측해 여유 시간대에 배치 작업을 채워 넣고 우선순위에 따라 전체 스케줄링 구간에 작업을 배치하는 방식으로 해결했다. 7개 벤치마크 시나리오 전반에서 활용률은 52~85%대에서 72~88%대로 개선됐고, 밀리초 단위로 동작해 요청마다 실시간 적용이 가능하다. 이는 하드웨어 증설 없이도 소프트웨어적 스케줄링 개선만으로 GPU 투자 효율을 크게 높일 수 있음을 보여준다.

• •FIFO 대비 GPU 활용률이 최대 33%포인트, 우선순위 가중 산출량이 최대 105% 개선됐다.
• •훈련 중심 8GPU 시나리오에서 활용률이 53.6%→87.0%로 가장 크게 향상됐다.
• •실시간 추론 수요를 곡선으로 예측해 여유 시간대에 배치 작업을 채우는 방식을 사용했다.
• •스케줄러는 1~15밀리초 내에 동작해 요청이 들어올 때마다 실시간 재계산이 가능하다.
• •우선순위를 동일하게 둔 시나리오에서도 활용률이 76.8%→87.5%로 개선돼 순서 최적화 자체의 효과를 입증했다.