AI 에이전트의 장기 작업 실행 로그에서 실패 원인을 자동으로 찾아내는 것은 사실상 대규모 탐색 문제라는 점에 착안해, 연구진은 판정 LLM이 여러 차례에 걸쳐 미해결 증거를 계속 찾도록 유도하는 반복 탐색 프레임워크 'Continual Search'를 제안했다. 기존 근본원인분석(RCA) 방법은 한 번의 LLM 판단에 의존해 궤적이 길어질수록 초기에 그럴듯한 진단에 안주하는 문제가 있었다. 연구진은 대규모 실행 궤적 평가를 위해 사람이 직접 라벨링한 50개의 장기·고실행량 실패 사례로 구성된 새 벤치마크 'MegaRCA-Mix'를 함께 공개했다. Continual Search는 여러 벤치마크에서 일관되게 진단 성능을 높였고, MegaRCA-Mix에서는 GPT-5.5의 F1 점수를 0.349에서 0.498로 40% 이상 끌어올렸으며, 하위 등급 모델이 반복 탐색을 통해 상위 등급 모델을 능가하는 사례도 확인됐다.

• •'Continual Search'는 판정 LLM이 여러 턴에 걸쳐 미해결 진단 증거를 계속 찾도록 유도하는 반복 탐색 프레임워크다.
• •기존 방식은 한 번의 LLM 판단에 의존해 긴 실행굤적에서 초기 진단에 안주하는 한계가 있었다.
• •사람이 라벨링한 50개 장기 실패 사례로 구성된 신규 벤치마크 'MegaRCA-Mix'를 함께 공개했다.
• •MegaRCA-Mix에서 GPT-5.5의 F1 점수가 0.349→0.498로 40% 이상 향상됐다.
• •반복 탐색을 적용하면 하위 등급 모델이 상위 등급 모델의 성능을 넘어서기도 했다.