AlphaDiana는 에이전트 성능을 측정하기 위한 모듈형 시스템으로, 데이터셋·에이전트·환경·채점기를 독립적으로 다루면서 파일 재사용과 메모리 유지를 분리해 제어한다. 연구팀은 3개 오픈소스 모델과 3개 오픈소스 하네스를 5개 답변형 벤치마크(일부는 2개 대화형 벤치마크 포함)에서 비교한 결과, 하네스가 추론 정확도를 일관되게 높이지는 않는다는 것을 발견했다. 도구 없이도 맞출 질문에서 손실이 생겨 하네스가 얻는 이득을 상쇄하는 경우가 있었고, 스킬 안내나 메모리 유지 같은 구성요소 개입도 신뢰할 만한 개선을 주지 못했다. 또한 토큰 엔트로피가 낮아도 오답일 수 있고 정확도가 떨어질 때 정답당 출력 토큰 수가 늘 수 있어, 행동과 토큰 사용은 반드시 정답 여부와 함께 평가해야 한다는 점을 보였다.
- •에이전트의 도구·스킬·메모리를 독립적으로 통제해 측정하는 모듈형 시스템 AlphaDiana 제안
- •하네스(도구·스킬 조직화 체계)가 추론 정확도를 일관되게 향상시키지 않음을 실증
- •스킬 가이드나 메모리 유지 같은 개별 개입도 신뢰성 있는 정확도 향상을 보이지 않음
- •낮은 토큰 엔트로피가 오답과 공존할 수 있어 행동·토큰 지표는 정답 여부와 함께 봐야 함
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
- 1.AlphaDiana라는 에이전트 측정시스템 공개, 모듈형 구조로 하니스 통제 유지
- 2.오픈소스 모델 3종·하니스 3종을 5개 벤치마크로 실험, 2종은 상호작용 벤치마크도 테스트
- 3.하니스가 정확도를 일관되게 높이지 않음, 개선과 손실이 서로 상쇄되는 경우 확인
- 4.스킬 가이드·기록 유지 등 컴포넌트 개입도 정확도 개선을 보장하지 못함
왜 중요한가?
에이전트 하니스·툴·메모리가 항상 성능을 높인다는 통념과 달리, 구성요소별 효과를 개별 검증해야 한다는 실증 근거를 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.20675v1 Announce Type: new Abstract: Agents pair reasoning models with harnesses that organize model calls, execute tools, load skill instructions, and retain history in memory. Understanding agent performance requires linking execution conditions to outcomes, behavior, and resource use. We introduce AlphaDiana, a measurement system with modular interfaces for datasets, agents, environments, and scorers. It preserves harness-native control loops while controlling file reuse and memor
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안