Fancy harnesses make coding agents more expensive but not better, study finds↗ (원문, 새 창)

산둥대 연구진이 Claude Code, OpenCode, mini-SWE-agent 세 코딩 에이전트 하네스를 모델은 고정한 채 비교한 결과, 하네스를 바꿔도 성능 차이는 같은 설정을 두 번 재실행했을 때 나는 노이즈 수준(약 13%)과 비슷했다. SWE-bench Verified 447개 과제 기준으로 Claude Code와 mini-SWE-agent는 2점 차 이내로 통계적으로 동등했고, OpenCode만 유의미하게 뒤처졌다. 반면 비용은 최대 3배까지 벌어졌는데, 이는 성능과 무관하게 매 단계 재전송되는 시스템 프롬프트 길이(Claude Code 약 16,600토큰 대 mini-SWE-agent 1,000토큰 미만) 때문이었다. 연구진은 "하네스가 사주는 것은 주로 토큰"이라며, 하네스 비교 시 동일 설정의 재실행 결과를 함께 공개해야 노이즈와 실제 차이를 구분할 수 있다고 제언했다.

• Qwen3.6·Qwen3.8·Deepseek-V4-Flash·GLM-5.3-Flash·HY4-Preview 5개 모델로 Claude Code, OpenCode, mini-SWE-agent 비교
• 447개 과제 기준 하네스 교체 시 결과가 바뀌는 비율(13%)이 단순 재실행 시 변동률(13%)과 동일
• OpenCode만 출력 길이 제한과 오프라인 시 바이너리 다운로드 실패 등으로 통계적으로 유의한 성능 저하
• 동일 모델·과제에서도 하네스에 따라 비용이 최대 3배 차이 나며, 원인은 시스템 프롬프트 길이(Claude Code 약 16,600토큰)
• Extended Thinking을 끄면 일부 모델에서만 성능이 11점 하락, 추론 의존도는 모델·하네스 조합에 따라 다름