기업 에이전틱 AI의 토큰 비용을 결정짓는 핵심은 모델이 아니라 오케스트레이션 계층(하네스)이라는 실증 연구다. 22개 고정 평가 과제에서 Claude Sonnet 4.6, Gemini 3.1 등 6개 모델을 그대로 두고 오케스트레이션만 교체한 결과, Writer Agent Harness는 과제당 비용 41%($0.21→$0.12), 실행 시간 44%, 토큰 38% 절감을 달성했고 품질은 동등(0.78→0.81)했다. 효율 개선은 모든 모델에서 33~61%로 나타났지만, 품질 향상은 모델 기초 역량과 r=0.99로 상관해 '하네스 레버리지'라 명명했다. 달러당 품질은 82% 상승했다. 토큰 뻥튀기(token maxing)로 비용이 급증하는 기업에게, 하네스가 어떤 모델을 쓰든 효율을 곱해주는 유일한 구성요소라는 주장이다.
- •6개 모델·22개 고정 과제에서 오케스트레이션 계층만 교체하는 통제 실험 수행
- •하네스 교체만으로 과제당 비용 41%, 실행 시간 44%, 토큰 38% 절감, 품질은 동등
- •효율 개선은 모델 불변(33~61%), 품질 향상은 기초 역량과 r=0.99 상관 — '하네스 레버리지' 현상
- •달러당 품질 82% 상승, 백만 토큰당 과제 완료 수 54.9→92.0
- •캐시 구조 규율부터 실패 비용 거버넌스까지 6가지 메커니즘 계열을 체계화
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI
- 1.6개 모델·22개 과제 통제 실험서 하니스 교체만으로 과제당 비용 41% 절감($0.21→$0.12)
- 2.토큰 38%·처리시간 44% 감소, 품질은 동등 수준(0.78→0.81), 달러당 품질 82% 상승
- 3.효율 개선은 모델 불변(33~61%), 품질 이득은 기반 성능과 r=0.99 상관 '하니스 레버리지'
- 4.토큰 물량 공세 대신 오케스트레이션 하니스가 기업 에이전트 토큰 경제를 좌우한다고 주장
왜 중요한가?
모델 선택보다 오케스트레이션 계층이 과제당 비용을 더 크게 움직였다는 결과로, 기업 에이전트 AI 도입 시 투자 우선순위를 모델 업그레이드에서 하니스 설계로 재편할 근거를 제공한다.
본문 미리보기
arXiv:2607.06906v1 Announce Type: new Abstract: Agentic AI development today runs on token maxing: buying capability with tokens -- longer reasoning traces, more turns, wider tool payloads, bigger replayed contexts -- so tokens per task grow faster than task value. Falling per-token prices mask the pattern; total spend rises anyway. We argue the decisive lever against token maxing is the harness: the orchestration layer that assembles context, exposes tools, sequences turns, delegates work, and
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

