Hugging Face가 코딩 에이전트가 라이브러리를 얼마나 효율적으로 다루는지를 정답 여부가 아니라 과정(턴 수, 토큰, 시간, 에러)으로 측정하는 벤치마크 하니스 agent-eval을 공개했다. transformers를 사례로 bare·clone·skill 세 가지 tier에서 pi 코딩 에이전트로 모델×리비전×과제를 HF Jobs에 병렬 실행해 비교했다. CLI와 Skill을 추가한 커밋은 대형 모델에는 도움이 돼 CLI를 호출하며 시간을 줄였지만(clone에서는 새 코드를 읽느라 입력 토큰이 4k→6.4k로 증가), 소형 모델에는 오히려 해로웠다. Qwen3-4B는 clone에서 토큰이 2.4k→23k로 폭증하고도 정확도 이득이 없었고, Qwen3-14B는 CLI를 호출형 도구로 오인해 classify-sentiment 정확도가 100%에서 0%로 붕괴했다. 결국 에이전트용 API는 모델 크기별로 평가해야 하며, 한 변화가 큰 모델엔 이득이지만 작은 모델엔 모호함을 더할 수 있다는 교훈을 준다.
- •agent-eval은 정답 일치 여부만 보는 기존 벤치마크와 달리 에이전트의 작업량(턴·토큰·시간·에러)과 실행 경로를 측정한다.
- •transformers를 대상으로 bare·clone·skill 세 tier에서 pi 에이전트로 모델×리비전×과제를 HF Jobs에 병렬 실행해 동일 하드웨어에서 비교했다.
- •CLI+Skill 커밋은 대형 모델의 작업 시간을 줄였지만, clone tier에서는 새 CLI 코드를 읽느라 입력 토큰이 4k에서 6.4k로 늘어나는 트레이드오프가 있다.
- •Qwen3-4B는 clone에서 중앙값 신규 토큰이 2.4k에서 23k로 폭증했지만 정확도 개선은 없었다.
- •Qwen3-14B는 Skill의 CLI를 호출형 도구로 오인해 classify-sentiment 정확도가 100%에서 0%로 붕괴했고, 이는 에이전트용 API를 모델 크기별로 평가해야 함을 보여준다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Is it agentic enough? Benchmarking open models on your own tooling
- 1.에이전트가 라이브러리를 얼마나 효율적으로 구동하는지 측정하는 transformers 기반 벤치마크 하니스 공개
- 2.정답 여부뼐 아니라 턴·토큰·시간·오류 등 '과정 비용'을 모델×리비전×태스크로 측정
- 3.CLI+Skill 커밋은 대형 모델의 작업 시간은 줄이지만 소형 모델은 오히려 성능이 저하
- 4.Qwen3-14B는 Skill을 실행 도구로 오인해 classify-sentiment 정확도가 100%→0%로 붕괴
왜 중요한가?
에이전트가 직접 라이브러리를 구동하는 시대에는 코드의 정확성·속도뿐 아니라 '에이전트가 잘 다룰 수 있는 설계'가 중요함을 데이터로 보여주며, 동일한 개선이 대형 모델엔 도움이 되고 소형 모델엔 해가 될 수 있어 모델 크기별 평가가 필수임을 시사한다.
개방형 모델의 '에이전트' 역량을 자체 도구로 평가하는 이 기사는 한국 기업들에게 중요한 시사점을 제공합니다. 국내 기업들이 AI 에이전트를 실제 비즈니스 환경에 도입하고 커스터마이징할 때, 단순히 모델 성능을 넘어 실제 업무 적용 가능성과 효율성을 정밀하게 벤치마킹하는 것이 필수적입니다. 이는 한국 시장에서 AI 도입의 성공 여부를 가르는 핵심 기준이 될 것입니다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 01:06AI 초안
