연구팀은 성공률 같은 결과 지표만으로는 에이전트가 얼마나 일관되게 행동하는지 알 수 없다는 문제의식에서 '행동 일관성 지표(BCM)'를 제안했다. BCM은 에이전트 실행 궤적의 행동 특징으로 과제 성공 여부를 예측하는 모델을 학습시킨 뒤, 궤적별 특징 기여도 벡터를 추출하고 이들 간 평균 쌍별 유사도를 측정해 일관성을 정량화한다. 소프트웨어 엔지니어링 과제에서 6개 언어모델 에이전트의 약 9000개 궤적을 분석한 결과, 동일 과제 반복 시 일관된 반면 다른 과제에서는 안정된 전략이 없는 '국소적으로는 재현되지만 전역적으로는 분절된' 에이전트가 존재함을 발견했다. 또한 성공률이 비슷해도 일관성은 크게 다를 수 있으며, 이러한 프론티어-오픈소스 간 일관성 격차는 과제 난이도를 통제해도 유지되는 것으로 나타났다.

• •성공률만으로는 포착되지 않는 에이전트의 '행동 일관성'을 정량화하는 지표(BCM) 제안.
• •실행 굤적의 특징 기여도 벡터 간 평균 쌍별 유사도로 일관성을 측정하는 방법론.
• •6개 에이전트, 약 9000개 소프트웨어 엔지니어링 굤적 분석 결과, 국소적 재현성과 전역적 일관성이 분리될 수 있음을 발견.
• •성공률이 비슷해도 일관성은 크게 다를 수 있고, 프론티어-오픈소스 간 격차는 과제 난이도를 통제해도 유지됨.