현대 컴퓨팅 인프라 관리는 복잡성이 계속 증가하면서 점점 어려운 문제가 되고 있고, AI 에이전트의 발전은 이를 자동화할 기회를 제공하지만 실제 인프라 복잡성을 얼마나 잘 다룰 수 있는지는 불분명했다. 연구진은 시스템 전 계층과 운영 생애주기 전반에 걸쳐 세밀한 위험 평가를 포함한 현실적 인프라 과제로 AI 에이전트를 평가하는 벤치마크 스위트 InfraBench를 제시했다. 15개 에이전트-모델 구성으로 실험한 결과 가장 강력한 에이전트조차 모든 과제에서 만점을 받지 못했으며, 평균 유효 점수는 약 40%에서 88% 사이에 분포했다. 각 과제를 세 번 반복한 결과 최상위 구성조차 시도의 일부만 통과했고, 세부 점검 단위 채점에서는 에이전트가 단기 목표는 충족하면서도 비영속적 변경, 깨진 분산 불변조건, 안전하지 않은 부작용, 정리되지 않은 상태를 남기는 일반적 실패 패턴이 드러났다. InfraBench는 라이브 리더보드와 과제, 평가 하네스를 공개해 인프라 에이전트 연구를 위한 공통 기준을 제공한다.

• •시스템 전 계층·운영 생애주기·위험 평가를 아우르는 현실적 인프라 과제 벤치마크 InfraBench 공개
• •15개 에이전트-모델 구성에서 최고 에이전트도 만점을 받지 못하고 평균 점수는 40~88%에 분포
• •동일 과제 3회 반복 시 최상위 구성도 시도의 일부만 통과, 일관성 부족 확인
• •에이전트가 단기 목표는 달성해도 비영속적 변경·안전하지 않은 부작용 등을 남기는 실패 패턴 발견