IBM Research가 에이전트 시스템의 모델 라우팅이 단순 분류 문제가 아니라 시스템 최적화 문제임을 실측으로 보였다. AppWorld 417개 과제에서 토큰 단가가 더 싼 GPT-4.1이 과제당 $0.37로 Claude Sonnet 4.6($0.19)의 약 2배 비용이 들었는데, 에이전트 워크로드의 높은 캐시 적중률에서 Sonnet의 저렴한 캐시 읽기 단가가 단가 차이와 3배 긴 추론 스텝을 상쇄했기 때문이다. 과제 난이도는 라우팅 시점에 보이지 않는 경우가 많고, 실제 라우터는 비용·품질·지연·컴플라이언스·신뢰성을 동시에 저글링해야 한다. 이에 분류 대신 다목적 최적화로 접근한 자사 라우터는 비용-정확도 프런티어를 그려, 지연 최적화 구성에서 Opus 단독 대비 비용 21%·지연 9% 절감에 정확도 하락은 4%에 그쳤고, 라우팅 오버헤드는 과제당 약 6ms·2kB에 불과했다. 가격표만 보는 라우터는 잘못된 숫자를 최적화한다는 것이 핵심 교훈이다.

• •AppWorld 417과제 실측: 토큰 단가가 싼 GPT-4.1($0.37/과제)이 Claude Sonnet 4.6($0.19)보다 약 2배 비용 — 캐시 읽기 단가가 승부처
• •난이도는 라우팅 시점에 보이지 않으며, 비용·지연·컴플라이언스·신뢰성을 동시에 균형해야 함
• •지연은 모델 크기보다 서빙 인프라(캐시 웜업, 엔드포인트 부하)가 지배적
• •분류 대신 최적화 기반 라우터: Opus 단독 대비 비용 -21%, 지연 -9%, 정확도 -4%의 운영점 제공
• •라우팅 오버헤드 과제당 약 6ms·2kB로 병목 아님