김동혁 HS효성인포메이션시스템 SA팀장은 기고문에서 기업 AI 인프라의 무게중심이 모델 학습에서 추론으로 완전히 넘어갔다고 진단했다. 딜로이트에 따르면 2025년 전체 AI 연산에서 추론 비중이 절반에 달했고 2023년의 3분의 1에서 급증했으며, 프로덕션 AI 시스템 운영비의 80~90%가 추론 단계에서 발생한다. 지연시간 감소와 데이터 중력 문제로 인해 초창기 클라우드 중심에서 온프레미스로 회귀하는 하이브리드 구조가 확산되고 있으며, 병목은 GPU 연산력이 아니라 데이터 접근성에서 발생한다고 지적했다. 필자는 히타치 밴타라의 'VSP 360'과 히타치 IQ 스튜디오를 데이터를 복사하지 않고 정책 기반으로 접근하는 대안 사례로 소개하며, 인프라 조직이 프로젝트 기반 사고에서 상시 운영 소비 모델로 전환해야 한다고 강조했다.
- •2025년 전체 AI 연산 중 추론 비중 약 50%, 2023년 3분의 1에서 급증(딜로이트)
- •프로덕션 AI 시스템 운영비의 80~90%가 추론 단계에서 발생
- •지연시간·데이터 중력 문제로 클라우드에서 온프레미스로 회귀하는 하이브리드 구조 확산
- •병목은 GPU 연산력이 아니라 데이터 접근성에서 발생한다고 지적
- •히타치 밵타라 VSP 360·IQ 스튜디오를 데이터 복사 없이 정책 기반 접근하는 대안 사례로 소개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AI 추론 시대, 기업 인프라 무게중심이 바뀐다
- 1.기업 AI 투자 무게중심이 학습에서 추론(실행)으로 이동, 2025년 전체 AI 연산 중 추론 비중 절반 수준
- 2.프로덕션 AI 운영비의 80~90%가 추론에서 발생, 2023년 3분의 1에서 급증
- 3.지연시간·데이터 거버넌스·데이터 중력 문제로 추론 워크로드가 온프레미스·하이브리드로 회귀
- 4.히타치 밴타라 VSP 360·IQ 스튜디오로 데이터 이동 없이 정책 기반 접근하는 컨트롤 플레인 소개
왜 중요한가?
AI 인프라를 학습 중심으로 설계해온 기업들에게, 앞으로는 상시 가동되는 추론 워크로드에 맞춘 데이터 근접성·거버넌스 중심의 인프라 재설계가 필요하다는 실무적 경고를 준다.
언급 프로젝트
본문 미리보기
[김동혁 HS효성인포메이션시스템 SA팀 팀장]기업 AI 투자 절반 이상이 이제 모델을 만드는 일이 아니라 모델을 실행하는 일에 들어간다. 데이터센터가 오랫동안 다뤄온 스토리지 장애나 용량 예측 실패, 리프레시 주기 지연과 같은 문제는 이미 알려진 문제이며 이에 대한 대응 매뉴얼을 갖추고 있어 해결하는데 익숙하다. 그러나 2026년의 투자업무 부담은 다르다. 그동안 기업의 AI 투자는 모델 학습에 집중돼 있었지만 AI 인프라의 무게중심은 어느새 학습에서 추론으로 완전히 넘어갔다. 멈추지 않고 하루 종일 대규모로 돌아가는 워크로드다.이
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:33AI 초안
