구글 클라우드가 워싱턴대·노스캐롤라이나대 채플힐 연구진과 함께 정적인 AI 벤치마크 평가 환경을 능동적으로 바꾸는 프로그래밍 가능 레이어 '엔브하네스(EnvHarness)'를 공개했다. 스테이지·컨트랙트·체인 3개 플러그인과 LLM 기반 자동 설계 도구 '엔브리거'로 기존 시뮬레이터를 손대지 않고도 에이전트의 약점 구간만 정밀 타격하는 맞춤형 훈련 환경을 만든다. ALF월드·웹아레나·SWE-벤치 베리파이드 등 5개 벤치마크에 GPT-4o 기반 에이전트를 적용한 결과, SWE-벤치 작업 해결률이 49.88%에서 52.58%로 오르고 평균 실행 단계는 55.01회에서 49.61회로 줄어 효율성이 9.8% 개선됐다. 특정 모델에 종속되지 않는 범용 구조로, 소스코드는 아파치 2.0 라이선스로 오픈소스 공개됐다.

• •엔브하네스, 스테이지·컨트랙트·체인 3개 플러그인으로 기존 벤치마크를 래퍼 방식으로 감싸 능동화
• •SWE-벤치 베리파이드에서 작업 해결률 49.88%→52.58%, 실행 단계 9.8% 감소
• •ALF월드에서는 분포 외(OOD) 평가 점수가 기존 대비 9.0점 상승
• •특정 AI 모델이 아닌 벤치마크 자체에 적용되어 GPT-4o·클로드 등 어떤 에이전트에도 범용적으로 적용 가능
• •소스코드는 아파치 2.0 라이선스로 오픈소스 공개되어 기존 평가 루프에 바로 적용 가능