금융·의료·국방 등 규제 산업에서 자체 인프라 안에서 AI 모델을 운영하려는 수요가 커지면서, 모델 제공사와 인프라 운영 주체 간 신뢰 문제가 부각되고 있다. NTT 데이터 조사에 따르면 응답 기업의 95% 이상이 프라이빗·소버린 AI를 전략적으로 중요하게 여기지만, 실행 로드맵을 갖춘 곳은 30% 안팎에 불과하다. 가장 취약한 지점은 모델 가중치가 GPU 메모리에 올라와 추론이 진행되는 '사용 중' 상태로, 메모리 기반 추출 공격으로 원본 파일 없이도 가중치를 재구성할 수 있다는 연구 결과가 있다. 해법으로 제시되는 기밀 컴퓨팅은 하드웨어 기반 신뢰실행환경(TEE)과 원격 증명으로 가중치를 암호화된 상태로 유지하지만, 아직 구현 성숙도가 낮아 검증이 필요한 초기 단계 기술이다.

• •규제산업서 자사 인프라 내 AI 모델 운영 수요 급증, NTT 조사 95% '전략적으로 중요'
• •모델 가중치가 메모리에 로드되는 '사용 중' 상태가 가장 취약한 보안 공백
• •메모리 사이드채널 공격으로 원본 파일 없이도 모델 가중치 재구성 가능한 연구 존재
• •해법은 기밀 컴퓨팅(TEE)+원격증명, 구글클라우드 등이 CPU·GPU 전반 확장 중
• •딜로이트 전망 2026년 소버린 AI 컴퓨트 투자 약 1,000억달러 규모