네오클라우드 기업 베슬AI가 업스테이지 LLM '솔라 프로4'에 글로벌 인퍼런스 인프라를 제공한다고 12일 밝혔다. 솔라 프로4의 일일 토큰 처리량이 80억 개에서 1550억 개로 급증하는 과정을 베슬AI의 인프라가 뒷받침했다. 내부 캐시 히트율 개선과 모델 양자화, 추론 속도 향상 기술을 적용해 처리 속도를 평균 2배에서 최대 3배 높였고, 토큰당 비용은 최대 2배 절감했다. 한국에서 개발한 AI 모델이 글로벌 시장으로 확장하는 과정을 국내 네오클라우드 인프라가 지원한 사례로 평가된다.
- •솔라 프로4 일일 토큰 처리량 80억→1550억 개로 급증, 베슬AI 인프라가 지원
- •캐시 히트율 개선·모델 양자화 적용해 처리 속도 최대 3배, 토큰당 비용 최대 2배 절감
- •베슬AI, 한국산 AI 모델 글로벌 확장을 국내 네오클라우드 인프라로 뒷받침한 사례로 의미 부여
- •베슬AI는 앞으로도 솔라 모델 확대에 필요한 인퍼런스 인프라 계속 지원 방침
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
베슬AI, 업스테이지 ‘솔라 프로4’에 글로벌 추론 인프라 제공
- 1.베슬AI, 업스테이지 '솔라 프로4'에 글로벌 인퍼런스 인프라 제공…일일 토큰 처리량 80억→1550억 개로 급증
- 2.캐시 히트율 개선·모델 양자화·추론 속도 향상 적용해 처리 속도 최대 3배, 비용 최대 2배 절감
- 3.안재만 베슬AI 대표, 한국산 모델의 글로벌 확장을 한국 네오클라우드 인프라로 뒷받침한 사례라 강조
왜 중요한가?
국내 LLM이 해외 트래픽 급증을 감당하려면 안정적 추론 인프라가 필수적임을 보여주는 사례로, 토큰당 비용 절감과 처리량 확대가 동시에 이뤄졌다는 점에서 네오클라우드 기업의 역할이 부각된다.
본문 미리보기
[디지털투데이 황치규 기자]네오클라우드 기업 베슬AI는 업스테이지 대형언어모델(LLM) ‘솔라 프로4(Solar Pro 4)’에 글로벌 인퍼런스(추론) 인프라를 제공한다고 12일 밝혔다. 양사 협력에 대해 베슬AI는 한국에서 개발한 AI 모델이 글로벌 시장으로 확장하는 과정을 한국 네오클라우드 기업 인프라가 뒷받침한 사례라고 강조했다.베슬AI는 모델 특성과 실제 트래픽 패턴에 맞춰 GPU 자원을 구성하고 서빙 인프라를 최적화함으로써, 처리량을 높이는 동시에 토큰당 비용을 낮추는 데 주력했다.특히 내부 캐시 히트율 개선, 모델 양자화
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:33AI 초안
