AI 추론 비용 최대 10분의 1로…오픈소스 ‘llm-d 1.0’ 공개, 기업용 AI 대규모 운영 본격화↗ (원문, 새 창)

레드햇·IBM·구글클라우드·엔비디아 등이 2025년 공동 출범시킨 오픈소스 분산 추론 프로젝트 'llm-d'의 기업용 1.0 버전이 공개됐다. 접두부 캐시 기반 라우팅, 프리필·디코드 분리 처리 등을 통해 에이전트 작업의 토큰당 추론 비용을 상용 API 대비 최대 5~10분의 1로 낮추고 동시에 최대 3,000개의 코딩 에이전트를 처리하는 성능을 실증에서 보였다. IBM 연구진은 7530억 매개변수 모델 'GLM 5.2'를 엔비디아 GPU에서 llm-d로 운영해 분당 660만 개 이상의 출력 토큰을 처리했고, 별도 연구에서는 독점형 솔루션 대비 추론 비용을 11.5배 낮췄다고 밝혔다. 구글클라우드·AMD·엔비디아가 각각 GKE·인스팅트GPU·베라 루빈 플랫폼으로 llm-d 지원을 확대하고 있으며, 디지털오션·제트브레인스·미스트랄·로블록스 등이 이미 서비스에 적용하고 있다.

• 례덧핸·IBM·구글클랐운뎀·엔미미어 놅0이 2025년 출범시켄 오펜소스 'llm-d' 1.0 버전 개c표
• 톰쿠류뢈 럐현 놅0 넥0영 기짐 운넥0 최놅0 5~10보넥0 1넥0 닊음, 최놅0 3,000개 코떩 에이전트 뉨시 처다
• IBM, 7530억 도뛠딸수 'GLM 5.2'롐 분뉨 660넥0 크큰 출륨, 다똈 연구에서 버케 11.5배 절감
• 구글클랐운뎀·AMD·엔미미어가 각각 GKE·인스팀트GPU·볼뉜읔롐믔롐 llm-d 지원 뉨뉨
• 뉙지토오션·샀트빌릐스·미스팀릀·뉙뛠뺅스 놅0이 이미 실제 서불위에 llm-d 홝용