LLM 에이전트 하네스를 자동으로 진화시키는 기법들의 평가 방식에 근본적 결함이 있다고 지적한 연구다. 기존 방법은 유닛 테스트로 하네스 구성을 탐색한 뒤 같은 공개 벤치마크에서 최종 성능을 보고하는데, 이는 (1) 하네스 진화 자체가 반복 탐색이므로 동일한 피드백·추론 예산의 단순 과제 수준 탐색 베이스라인과 비교해야 하고, (2) 탐색과 평가가 같은 벤치마크를 공유해 과적합 위험이 있다는 두 문제를 안고 있다. Terminal-Bench 2.1에서 GPT-5.4와 Claude Opus 4.6으로 동등 예산 비교와 홀드아웃 과제 평가를 수행한 결과, 자동 하네스 진화는 단순 테스트타임 스케일링을 일관되게 이기지 못했고 일반화도 제한적이었다. 하네스 자동 설계의 실효성에 의문을 제기하며 더 공정한 평가 프로토콜의 필요성을 강조한 결과로, 코드는 GitHub에 공개됐다.

• •기존 하네스 진화 평가의 2대 결함: 동등 예산 탐색 베이스라인 부재 + 탐색·평가 벤치마크 공유로 인한 과적합
• •Terminal-Bench 2.1에서 GPT-5.4·Claude Opus 4.6으로 동등 피드백·추론 예산 하에 비교 실험
• •자동 하네스 진화는 단순 테스트타임 스케일링을 일관되게 이기지 못함
• •홀드아웃 과제에서 진화된 하네스의 일반화 제한적 — 공정한 평가 프로토콜 필요성 제기