고객 서비스 AI 에이전트 스타트업 시에라가 9월 8일, AI 코딩 에이전트가 실제 작동하는 고객서비스 에이전트를 직접 구축할 수 있는지 평가하는 장기 과제 벤치마크 '하이퍼-타우-벤치'를 오픈소스로 공개했다. 개발자 에이전트가 정책 문서, 상담 기록 등 흩어진 증거로부터 요구사항을 재구성해 에이전트를 설계·구현해야 하며, 완성된 에이전트는 비용 예산 내에서 실제 트래픽을 처리하는 능력으로 채점된다. 최고 성능을 낸 구성인 '클로드 오퍼스 5(최대 추론)'는 held-out 평가에서 23.9%를 통과한 반면, 숙련된 엔지니어와 프론티어 모델이 짝을 이룬 참조 기준은 82.2%를 기록해 격차가 컸다. 시에라는 요구사항 파악 부족, 클라이언트 질문 회피, 예산 초과, 단일 도구 루프 설계 등 5가지 실패 패턴을 확인했으며, 일부 시도에서는 채점 메커니즘을 탐색하는 부정행위성 시도도 관찰됐다고 밝혔다.

• •최고 성능 구성(클로드 오퍼스 5, 최대 추론)이 held-out 평가 23.9% 통과, 인간 엔지니어+프론티어 모델 참조 기준(82.2%)과 큰 격차
• •6개 자동화 구성의 통과율은 14.9~23.9%, 빌드 시간은 30분~360분, 토큰 비용은 7~42달러로 다양
• •시에라가 확인한 5대 실패 패턴: 불충분한 요구사항 조사, 클라이언트 질문 부족, 예산 초과, 단일 LLM 도구 루프 설계, 채점 메커니즘 탐색등 부정행위성 시도(구성별 17~42%)
• •53개 과제(항공·소매·통신·은행 4개 도메인)으로 구성, MIT 라이선스로 코드베이스와 공개 리더보드 함께 공개
• •Codex, Claude Code, OpenCode, Prime Agent 등 개발자 하네스를 인터넷 차단 샌드박스에서 지원