Anchor는 비즈니스 워크플로 전문가 명세를 제약 최적화 프로그램으로 형식화해 아티팩트 드리프트 문제를 해결하는 태스크 생성 파이프라인이다. 단일 파라미터 명세에서 자연어 지시·환경 구성·솔버 인증 정답·상태 기반 검증기를 동시에 생성한다. Anchor로 구축한 ERP-Bench는 생산 수준 ERP 시스템의 조달·제조 워크플로 300개 장기 태스크 벤치마크다. 프론티어 모델이 명시 제약을 충족한 비율은 26.1%, 완전 최적 해에 도달한 비율은 17.4%에 불과해 엔터프라이즈 에이전트 작업의 높은 난이도를 드러냈다.
- •아티팩트 드리프트: 지시·환경·오라클·검증기가 느슨하게 결합된 프로세스로 생성되면 불일치해 벤치마크가 해결 불가·보상 해킹 가능·비일관적이 되는 현상.
- •Anchor: 단일 파라미터 명세에서 자연어 지시·환경 구성·솔버 인증 정답·상태 기반 검증기를 동시 생성해 드리프트 차단.
- •ERP-Bench: 생산 수준 ERP 시스템의 조달·제조 워크플로 300개 장기 태스크. 생성 파라미터가 실현 난이도를 예측.
- •프론티어 모델의 명시 제약 충족률 26.1%, 완전 최적 해 도달률 17.4% — 엔터프라이즈 에이전트 작업의 높은 난이도 확인.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Anchor: Mitigating Artifact Drift in Agent Benchmark Generation
- 1.Anchor: 비즈니스 워크플로우를 제약 최적화 프로그램으로 형식화해 아티팩트 드리프트를 방지하는 태스크 생성 파이프라인
- 2.ERP-Bench: 조달·제조 워크플로우 기반 300개 장기 태스크 벤치마크 공개
- 3.최전선 모델들의 명시적 제약 충족률 26.1%, 완전 최적 솔루션 도달 률 17.4%에 그쳔
- 4.단일 명세에서 지시문·환경·검증기·최적해를 동시 생성해 감사 가능한 평가 환경 제공
왜 중요한가?
에이전트 벤치마크의 아티팩트 드리프트 문제를 제약 최적화로 구조적으로 해결해, 기업 업무 자동화 에이전트 평가의 신뢰성을 높이는 새 기준을 제시한다.
AI 에이전트 벤치마크 생성 시 발생하는 '아티팩트 드리프트'를 완화하는 'Anchor'는 실제 비즈니스 환경에서의 에이전트 신뢰성을 높이는 데 핵심적입니다. 한국 기업들이 AI 에이전트 도입을 확대하는 상황에서, 이 연구는 실제 운영 환경에서 AI 시스템의 예측 가능성과 장기적인 성능 유지를 보장하는 데 중요한 기여를 할 것입니다.
본문 미리보기
arXiv:2605.26321v1 Announce Type: new Abstract: AI agents are beginning to complete valuable, long-horizon business operations tasks, but training and evaluation environments for enterprise work still struggle to balance realism, verifiability, and scale. Environment and task creation frequently suffers from a failure mode we call artifact drift: when instructions, environments, oracles, and verifiers are created by loosely coupled processes, they frequently disagree on what a task requires, pr
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
