마이크로소프트와 홍콩시립대 연구진이 장기 과제 수행 중 AI 에이전트의 중간 의사결정 품질, 즉 '테이스트(taste)'를 측정하는 벤치마크 '테이스트-벤치(Taste-Bench)'를 개발했다. 502개 문항으로 구성되며, 동일 과제의 두 시도가 갈라지는 지점이나 에이전트가 스스로 경로를 바꾼 지점에서 둘 중 더 나은 방향을 고르게 한다. 클로드·GPT·그록·딥시크 등 14개 모델을 테스트한 결과 최고 성능인 GPT-5.6 솔도 59.7%에 그쳤으며, 단서가 뒤늦게 드러나는 질문에서는 정확도가 무작위 수준인 21%까지 떨어졌고 추론 시간을 늘려도 개선되지 않았다. 다만 교사 모델의 판단을 작은 모델(큐원3.6-27B)에 distillation으로 전수하자 정확도가 30%에서 47.9%로 뛰었고, 이를 조언으로 활용한 에이전트는 SWE-bench Pro 성공률이 14.6%에서 33.7%로 상승해 '테이스트'를 훈련으로 개선할 수 있음을 보였다.
- •태이스킸션-박숩닀처놀스토륩은 502개 발정 발표 중 박각점에서 더 낫게 개선된 깃은 능력을냀임 평가
- •최상위 GPT-5.6 솔이 59.7%로 1위, 추뇨시간 증가는 성릀에 거의 영향 없았
- •람게 떡딸 질문에서 정확륨륩이 땴위처다 수준인 21%까지 끄어질
- •SWE-bench 같은 기존 박숩닀처와 달륨 과정의 질을 직접 푸감다니놀 다르게
- •큐원 3.6-27B에 distillation 적용 시 정확륨 30%→47.9%, 에이전트 성고륩 14.6%→33.7% 상실
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AI agents have bad taste in long-term decisions and a new benchmark proves it

- 1.MS·홍콩시립대, AI에이전트 장기판단력 측정 'Taste-Bench' 공개
- 2.502개 분기점 질문서 경로선택, 최고모델 GPT-5.6 Sol도 정확도 59.7%뿐
- 3.단서가 늦게 드러나면 정확도 21%로 추락, 추론시간 늘려도 무효과
- 4.학습증류로 Qwen3.6-27B 활용시 SWE-bench Pro 성공률 14.6%→33.7%
왜 중요한가?
기존 벤치마크가 과제 완수 여부만 평가하는 것과 달리, 장시간 자율 작업 중 선택의 질(taste)을 측정하고 학습시킬 수 있음을 보여줘 에이전트 신뢰성 평가의 새로운 축을 제시한다.
본문 미리보기
A new benchmark called Taste-Bench tests how well AI agents make strategic choices during long-running tasks. Even the best model, GPT-5.6 Sol, picks the right path on just under 60 percent of simple binary questions. Thinking longer doesn't help. The article AI agents have bad taste in long-term decisions and a new benchmark proves it appeared first on The Decoder.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:33AI 초안