AI 추론 시대가 본격화하면서 메모리와 스토리지가 부수적 하드웨어가 아니라 시스템의 핵심 전략 자산으로 재조명되고 있다고 MIT 테크놀로지 리뷰가 마이크론과 함께 진행한 분석에서 밝혔다. 티리아스 리서치의 짐 맥그리거 대표는 AI가 단일 워크로드가 아니라 수백만 개의 서로 다른 워크로드 집합이라며, RAG 같은 기법이 대규모 데이터베이스를 실시간으로 스캔해야 하는 만큼 데이터 이동이 새로운 병목이라고 지적했다. 기업은 컴퓨팅·메모리·스토리지·네트워킹을 하나의 통합 시스템으로 설계하고, 워크로드 정의부터 모듈형 아키텍처 구축, 공급망 다변화, 지속적 조달 전략 재검토까지 4단계 접근이 필요하다고 제안한다. 결국 AI 인프라 설계는 기술적 문제를 넘어 성능과 비용, 확장성의 균형을 요구하는 경영 전략 문제로 부상하고 있다.

• •AI 추론 시대에는 메모리·스토리지가 백엔드 인프라가 아닌 전략적 핵심 자산으로 전환
• •RAG 등 기법으로 데이터 이동이 컴퓨팅 성능보다 더 중요한 병목 요인으로 부상
• •컴퓨팅·메모리·스토리지·네트워킹을 통합 설계해야 계층 간 이동하는 병목 문제 해결 가능
• •워크로드 정의, 모듈형 아키텍처, 공급망 다변화, 지속적 조달 재검토 등 4대 전략 제시
• •최대 성능이 아닌 와트당 성능과 ROI 최적화가 AI 인프라 경쟁력의 핵심 지표로 부상