이 연구는 현미경·방사광가속기 등 과학 장비를 제어하는 LLM 에이전트를 설계할 때 벤치마크가 알려진 작업 수행 능력뿐 아니라 미지의 새로운 작업에 대한 일반화 능력까지 예측할 수 있는지를 검증했다. 1~3개 에이전트 그래프 토폴로지, 5개 LLM, RAG·맥락 파라미터, 운영 제약을 53개 현미경 벤치마크 테스트에 걸쳐 평가하는 벤치마크·트레이스 로깅 프레임워크를 개발해 105개 에이전트 구성, 1949건의 개별 테스트 실행, 4만 9109건의 RAG 검색을 기록했다. 직접 비교에서는 구성별로 지연시간·토큰 사용량·비용·실패 모드에 뚜렷한 차이가 나타났지만, 에이전트 아키텍처와 테스트 결과로 학습한 대리 모델은 미지의 새로운 작업에서의 성능을 신뢰성 있게 예측하지 못했다. 이는 현재의 벤치마크가 자격 검증·회귀 테스트·진단·직접 비교에는 유용하지만, 이질적인 테스트 스위트가 작업 독립적인 전역 구성 모델을 뒷받침하지는 못한다는 점을 보여준다.

• •1~3개 에이전트 토폴로지, 5개 LLM, RAG 파라미터를 53개 현미경 테스트로 평가
• •105개 에이전트 구성, 1949건 테스트, 4만 9109건 RAG 검색 기록
• •구성별로 지연시간·토큰·비용·실패 모드에 됧러한 차이 확인
• •아키텍처·결과 기반 대리 모델은 미지 작업 성능을 신뢰성 있게 예측하지 못함
• •현 벤치마크는 자격검증·회귀테스트엔 유용하나 작업 독립적 구성 예측엔 한계