연구진이 프런티어 LLM을 활용한 자동 동료평가 시스템으로 AI 사이언티스트 프레임워크의 논문 품질을 독창성·엄밀성·명료성·중요성 네 기준으로 평가하는 벤치마킹 프로토콜을 제안했다. Sakana AI(v1·v2), CycleResearcher, Data-to-Paper 네 프레임워크에 AI 사이언티스트 기업 FARS의 연구 제안 15건을 동일 적용해 논문 60편을 생성하고, FARS 벤치마크 논문 15편과 함께 GPT-5.4·제미나이·클로드로 평가했다. FARS 논문은 5점 만점에 2.14~2.47점으로 다른 시스템(1.00~1.87점)을 크게 앞섰으며, 제미나이-클로드 간 평가 상관관계는 매우 높았던(ρ=0.907) 반면 GPT-5.4는 상대적으로 낮은 일치도(ρ≈0.32)를 보였다. 이는 AI 사이언티스트 시스템에 대한 최초의 정량적 벤치마크다.

• •GPT-5.4·제미나이·클로드 3개 LLM 심사자로 AI 사이언티스트 프레임워크 4종의 논문 품질 자동 평가
• •FARS 벤치마크 논문이 2.14~2.47점(5점 만점)으로 다른 시스템(1.00~1.87점) 대비 2배 이상 우세
• •제미나이-클로드 평가 상관관계 매우 높음(ρ=0.907), GPT-5.4는 상대적으로 낮은 일치도(ρ≈0.32)
• •AI 사이언티스트 시스템에 대한 최초의 정량적 벤치마크 프로토콜로 자리매김