LLM 추론 단가가 2년 새 90% 넘게 떨어졌음에도 기업의 실제 AI 청구액은 오히려 늘고 있다는 역설을 다룬 글이다. 원인은 인간이 아닌 자율 에이전트가 빌드 실패나 오류 조사를 위해 방대한 로그와 JSON, 데이터베이스 스키마를 반복적으로 클라우드 LLM에 재전송하는 구조에 있다. 넷플릭스 엔지니어가 만든 오픈소스 'Project Headroom'은 이런 에이전트 트래픽을 로컬에서 캐싱·압축해 이미 2000억 토큰을 처리하고 약 70만달러의 API 전송비를 절감했다. 가트너는 2028년까지 생성형 AI 프로젝트의 최소 50%가 이런 아키텍처 미비로 예산을 초과할 것으로 전망하며, 공유 프롬프트 캐싱과 예산 서킷브레이커 같은 '컨텍스트 거버넌스'가 새로운 기업 필수 역량으로 부상하고 있다고 지적한다.

• •LLM 토큰 단가 2년간 90% 이상 하락했지만 기업 AI 청구액은 오히려 증가하는 역설 발생
• •원인은 자율 에이전트가 로그·JSON·DB 스키마를 반복 재전송하는 '컨텍스트 전송량' 폭증
• •넷플릭스 엔지니어의 오픈소스 'Project Headroom', 2000억 토큰 처리·70만달러 비용 절감
• •가트너, 2028년까지 생성형 AI 프로젝트 최소 50%가 아키텍처 미비로 예산 초과 전망
• •공유 프롬프트 캐싱, 예산 서킷브레이커, 토큰 단위 워크로드 감사 등 '컨텍스트 거버넌스' 필요성 제기