AWS가 에이전트의 스킬 사용 품질을 평가하는 Strands Evals SDK와 아마존 베드록 에이전트코어(AgentCore) 이밸류에이션의 신규 평가 지표를 공개했다. 스킬 선택 정확도(Skill Selection Accuracy)는 에이전트가 과업에 적합한 스킬을 골랐는지 이진 판정하고, 스킬 지시 준수도(Skill Instruction Following)는 선택된 스킬의 절차를 얼마나 충실히 따랐는지 5단계로 평가하며, 스킬 호출 여부(Skill Invoked)는 모델 호출 없이 결정론적으로 확인한다. 최종 응답만으로는 에이전트가 엉뚱한 스킬을 쓰거나 절차를 건너뛴 실패를 잡아낼 수 없다는 문제의식에서 나온 접근으로, Strands Evals는 재현 가능한 테스트 케이스에, AgentCore Evaluations는 실제 운영 트레이스의 온디맨드·배치·상시 평가에 적합하다.

• •Strands Evals SDK와 Amazon Bedrock AgentCore Evaluations에 스킬 전용 평가 지표 3종 추가
• •Skill Selection Accuracy: 호출한 스킬이 과업에 적합했는지 이진 판정
• •Skill Instruction Following: 스킬 지시사항 이행 정도를 5단계(완전 준수~미준수)로 평가
• •Skill Invoked는 모델 호출 없는 결정론적 검사로 특정 스킬의 로드 성공 여부만 확인
• •AgentCore Evaluations는 OpenTelemetry 트레이스 기반으로 온디맨드·배치·상시 평가를 모두 지원