Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions | AIChainDay

한국어 요약by Claude · 2026. 9. 9.

AWS Bedrock AgentCore로 배포한 에이전트를 GitHub Actions CI/CD 파이프라인에서 자동 평가해, 성능이 퇴보하면 PR을 차단하는 품질 게이트 구축법을 다룬다. OAuth로 보호된 MCP 서버는 CI가 사용자 컨텍스트 없이 접근해야 하는 문제가 있는데, 저자는 M2M(client_credentials) 토큰과 사용자 토큰을 동시에 지원하는 3단계 인증 미들웨어로 이를 해결했다. CDK로 Cognito, 에이전트·MCP 런타임을 한 번에 배포하고, GoalSuccessRate·Correctness·ToolSelectionAccuracy·ToolParameterAccuracy 등 4개 내장 평가지표를 사용해 임계값(예: 0.8) 미달 시 PR을 자동 차단한다. 실제 시연에서 시스템 프롬프트를 고의로 나쁘게 바꾸자 평가 점수가 0으로 떨어져 PR이 막혔고, 복구 후 모든 지표가 통과해 게이트가 정상 작동함을 확인했다.

•OAuth 보호 MCP 서버를 위한 3계층 인증(JWT 검증-헤더 패스스루-역할기반 미들웨어)로 CI의 M2M 토큰과 사용자 토큰을 동시 지원
•CDK 한 번의 배포로 Cognito, 에이전트·MCP 런타임, IAM 역할, 테스트 사용자까지 전부 프로비저닝
•GoalSuccessRate·Correctness·ToolSelectionAccuracy·ToolParameterAccuracy 4개 지표로 임계값(0.8) 미달 시 PR 자동 차단
•고의로 나쁘 시스템 프롬프트를 넣어 평가 점수가 0으로 떨어지는 회귀 탐지를 실증
•저장된 트레이스 평가(A), 서비스 계정(B), M2M 인증(C) 3가지 접근법을 상황별로 제시

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 8일AI 점수: 85%

Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions

출처:AWS ML Blog

AI 인사이트

개발자

1.Bedrock AgentCore Evaluate API+GitHub Actions로 성능 회귀 시 PR 자동 차단 게이트 구축
2.OAuth 보호 MCP 서버 인증 문제 해결 3방식(저장 트레이스·서비스 계정·M2M) 비교 제시
3.GoalSuccessRate·Correctness 등 내장 평가지표 임계값(예 0.8) 미달 시 병합 차단
4.3계층 MCP 인증(JWT 검증·헤더 전달·역할 기반 도구 접근)으로 M2M·사용자 토큰 동시 지원

왜 중요한가?

에이전트 품질 저하를 사람이 알아채기 전에 CI 단계에서 자동 검출·차단할 수 있게 해, 프롬프트나 모델 교체가 잦은 에이전트 운영의 회귀 리스크를 줄이는 실용적 패턴을 제공한다.

언급 프로젝트

Amazon Bedrock AgentCore GitHub Actions Strands Agents Amazon Cognito

본문 미리보기

Wire Amazon Bedrock AgentCore Evaluations into a GitHub Actions pipeline: deploy an AI agent and an OAuth-protected MCP server to AgentCore runtime, invoke the agent with test prompts, score the responses, and automatically block pull requests when agent behavior regresses.

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기