아마존이 다중턴 AI 에이전트의 품질을 턴 단위로 분해해 측정하는 '에이전트 평가 지표(AEM)'를 소개했다. 기존 과업 단위 평가는 초기 한 번의 오류가 이후 모든 턴에 전파되는 '캐스케이딩 오류'를 감지하지 못하고 대화 전체를 실패로만 표시하는 한계가 있다. AEM은 정확성을 '진실성(값이 사실과 일치하는가)'과 '완전성(필요한 요소가 모두 있는가)' 두 하위 지표로 분해해 응답 턴과 도구 호출 턴 각각에 적용하고, 의미론적 유사도 비교로 판정한다. 실패 시에는 원인 턴과 그로부터 파생된 연쇄 실패를 구분하는 '오류 귀속' 기능을 제공해, 5턴 대화 예시에서 2번째 턴의 매개변수 오류 하나가 3~5턴 실패의 근본 원인임을 정확히 짚어낸다. 이 지표는 아마존의 엔터프라이즈 어시스턴트 '아마존 퀵 스위트'에 적용됐으며, Strands Agents 평가 SDK의 커스텀 평가자로 통합해 기존 목표달성률·LLM 심사 평가와 함께 사용할 수 있다.

• •기존 과업 단위 평가는 초기 오류가 이후 턴으로 전파되는 현상을 구별하지 못함
• •정확성을 '진실성'과 '완전성' 두 하위 지표로 분해해 턴별로 측정
• •'이전 동작 실패(prior_action_failed)' 레이블로 근본원인과 연쇄 실패를 구분
• •5턴 대화 예시에서 2번 턴의 매개변수 오류 하나가 3~5번 턴 실패의 근본 원인임을 정확히 지적
• •Strands Agents 평가 SDK의 커스텀 평가자로 통합, 아마존 퀵 스위트에 적용