AWS가 멀티 에이전트 시스템의 프로덕션 장애를 잡아내기 위한 이중 모니터링 아키텍처를 소개했다. 아마존 베드락 에이전트코어 이밸류에이션스는 LLM-as-a-Judge 방식의 16개 내장 평가지표로 실시간 상호작용을 지속적으로 채점해 잘못된 도구 선택이나 목표 미달성 같은 '조용한 품질 저하'를 잡아내고, AWS 데브옵스 에이전트는 클라우드워치 로그와 IAM 정책을 자동 분석해 인프라 장애의 근본 원인을 추적한다. 이를 검증하기 위해 슈퍼바이저·항공편·사용자·예약 등 4개 전문 에이전트로 구성된 항공 예약 시스템을 스웜(Swarm) 패턴으로 구축했으며, 실제로 예약 봇이 빈 응답을 반환한 사례에서 데브옵스 에이전트가 30~60분 걸릴 조사를 자동화해 실행 역할에 누락된 'bedrock:InvokeModel' IAM 권한을 근본 원인으로 특정했다. AWS는 이 품질(에이전트가 잘 작동하는가)과 인프라(시스템이 건강한가) 두 계층을 결합해야 멀티 에이전트 시스템의 지속적 개선 루프를 만들 수 있다고 강조했다.

• •에이전트코어 이밸류에이션스는 16개 LLM-as-a-Judge 평가지표로 실시간 상호작용을 지속 채점한다.
• •AWS 데브옵스 에이전트는 클라우드워치 로그·IAM 정책을 자동 분석해 인프라 장애 근본원인을 찾는다.
• •슈퍼바이저·항공편·사용자·예약 4개 에이전트로 구성된 스웜 패턴 항공예약 시스템으로 아키텍처를 검증했다.
• •실제 사례에서 누락된 'bedrock:InvokeModel' 권한으로 인한 빈 응답 오류를 자동으로 특정해냈다.
• •AWS는 품질 모니터링과 인프라 모니터링을 결합해야 완전한 피드백 루프가 완성된다고 강조했다.