프로덕션 LLM 에이전트는 진화하면서 반복적으로 평가되지만, 전체 에이전트 벤치마크를 매번 재실행하는 것은 비용이 크다. 연구팀은 월간 활성 사용자 수만 명을 서비스하는 프로덕션 분석 에이전트를 대상으로 효율적인 반복 평가를 연구하고 실전 배포 경험을 보고했다. 574건의 과거 프로덕션 벤치마크 실행을 시간순으로 보정·홀드아웃 구간으로 나눠 무작위 샘플링, 과거 캐싱, 고정 대표 부분집합, IRT 기반 적응형 테스트를 비교한 결과, 다차원 2PL 적응형 테스트가 전반적으로 가장 높은 점수 충실도를 보였으며 전체 실행의 38.5%인 200개 문항만으로 평균절대오차(MAE) 1.03%p를 달성했다. 다만 운영상 단순함을 이유로 난이도 계층화 고정 부분집합을 실제 배포했으며, 이 방식이 재보정 없이 다섯 개의 다른 에이전트 계열로 전이되고 하루 단위로 짧은 보정 창에서도 안정적임을 보였다. 이 배포 경험을 바탕으로 반복적 프로덕션 에이전트 평가를 위한 실무적 권고안을 제시한다.

• •프로덕션 LLM 에이전트의 반복 평가 비용을 줄이기 위해 574건의 실제 벤치마크 실행을 분석했다
• •다차원 2PL 적응형 테스트가 전체 실행의 38.5%만으로 MAE 1.03%p의 가장 높은 충실도를 보였다
• •운영 단순성을 이유로 난이도 계층화 고정 부분집합을 실제 배포에 채택했다
• •이 고정 부분집합은 재보정 없이 다섯 개 다른 에이전트 계열에도 전이되고 하루 단위 보정 창에서도 안정적이었다