New paper: Emerging trends in AI agent evaluation↗ (원문, 새 창)

프린스턴대 사야시 카푸어·아르빈드 나라야난 연구팀이 스탠퍼드, 영국 AI안전연구소, 브루킹스 연구진과 함께 'AI 에이전트 평가의 새로운 흐름'이라는 논문을 발표하고 33가지 신흥 평가 동향을 제시했다. 논문은 에이전트가 도구와 환경에 접근할 수 있어 전체 행동 경로를 검토해야 하는 점, 평가 인프라 구축에 ExploitBench 등에서 수만 달러가 소요되는 등 비용이 급증하는 점을 주요 과제로 지적했다. 또한 METR의 무작위 대조 실험에서 에이전트 도구 사용이 오히려 소프트웨어 개발 완료 시간을 늘린 사례처럼, 실험실 성능이 실제 활용 맥락으로 그대로 이어지지 않는다는 점도 강조했다. 연구진은 평가자, 자금지원기관, 정책입안자 등 다양한 이해관계자에게 독립성과 투명성을 갖춘 평가 생태계 구축을 위한 실천 과제를 제안했다.

• 프린스턴·스탠퍼드·영국 AI안전연구소 등 공동 논문, AI 에이전트 평가 33가지 동향 제시
• ExploitBench 등 일부 벤치마크는 평가에 수만달러 소요, 비용 급증이 과제
• METR 무작위 대조실험, 에이전트 도구 사용이 오히려 작업 완료 시간 증가시킨 사례 소개
• 평가자 독립성·투명성·학제간 참여 확대를 핵심 권고로 제시