IBM 리서치가 AI 에이전트의 '평균 정확도'와 '일관된 재현 성공률'의 차이를 드러내는 새로운 진단·개선 기법을 공개했다. GPT-4.1 기반 ReAct 에이전트는 AppWorld 벤치마크에서 평균 성공률(Mean@5) 77.4%를 기록했지만, 5회 모두 성공하는 비율(Pass^5)은 53.0%에 그쳐 24.4%포인트의 '일관성 격차'가 나타났다. 연구팀은 하나의 기록된 궤적만으로 결정 지점별 출력 변동성을 재추출하는 '컨시스턴시 애널라이저'를 개발해 불안정한 판단 지점을 찾아내고, 이를 ALTK-Evolve의 가이드라인으로 자동 생성했다. 이 가이드라인을 적용한 결과 평균 정확도(Mean@5 81.0%)는 유지하거나 오히려 높이면서 Pass^5는 69.0%로 상승해 일관성 격차가 12.0%포인트로 절반 가까이 줄었으며, 유사 과제에도 효과가 전이됐다.

• •GPT-4.1 ReAct 에이전트, AppWorld에서 평균 성공률 77.4%지만 5회 전부 성공(Pass^5)은 53.0%로 24.4%p 격차
• •'컸시스턴시 애널라이저', 기록된 굤적 하나를 재샘플링(k=5)해 불안정한 결정 지점을 그라운드트루스 없이 진단
• •진단 결과를 ALTK-Evolve 가이드라인으로 자동 생성, 평균 정확도 저하 없이 Pass^5를 69.0%로 향상(격차 12.0%p로 축소)
• •난이도 높을수록 격차가 크고(최대 30%p) 개선폭도 컴, 가이드라인은 유사 과제에도 전이 효과 확인
• •저자들, 에이전트 배포 시 Mean@k뿐만 아니라 Pass^k도 함께 보고할 것을 권고