WEKA의 최고AI책임자(CAO) 발 베르코비치가 AI 인프라와 안전 규제에 대한 견해를 밝힌 인터뷰다. 그는 AI 산업이 훈련보다 추론 중심으로 이동하면서 토큰당 비용을 재무적으로 관리하는 'AI 핀옵스(FinOps)'가 부상하고 있으며, GPU 유휴 시간의 주범은 연산력 부족이 아니라 메모리·데이터 지연(디코드 병목)이라고 지적했다. 미 정부의 AI 안전 프레임워크가 세부 내용을 공개하지 않았지만, 기업은 데이터 계보·관측성·재현성·가드레일 모델 구축 같은 인프라 작업을 미리 해둬야 하며, EU AI법이 이미 이달 시행돼 에이전트 오케스트레이션 대부분을 고위험으로 분류하고 있다고 강조했다. 자율 에이전트는 수 시간·수일간 상태를 축적하므로 이를 감시·복원하려면 KV 캐시 같은 컨텍스트 메모리를 영구 데이터로 취급해야 하며, 조작 방지를 위한 암호학적 무결성 검증도 필요하다고 설명했다. AI 안전·컴플라이언스가 사이버보안처럼 별도의 상시 인프라 계층으로 자리잡을 것이라는 전망이다.

• •추론 중심 전환으로 GPU 유휴의 주범은 연산력이 아닌 메모리·데이터 지연(디코드 병목)이라며 'AI 핀옵스' 부상 지적
• •EU AI법이 이미 시행되어 에이전트 오케스트레이션 대부분을 고위험으로 분류, 데이터 계보·관측성·재현성 확보가 선행 과제
• •자율 에이전트는 수시간~수일 상태를 축적하므로 KV 캠시를 일회용 설크러치가 아닌 영구 데이터로 보존해야 함
• •오픈웨이트와 폐쇄형 모델을 다르게 규제하면 이중 컴플라이언스 체계의 공백이 위험으로 남는다고 경고
• •AI 안전은 사이버보안처럼 별도 상시 인프라 계층으로 자리잡을 것, 가드레일 모델은 설계 단계부터 내장되어야 함