에이전틱 코딩 시스템은 언어모델을 도구·프롬프트·제어 흐름으로 구성된 하네스와 결합하는데, 벤더들은 자사 모델에 맞춘 하네스를 제공하며 벤더-네이티브 조합이 더 많은 과업을 해결한다고 가정한다. 이 논문은 오염 통제된 256개 저장소·경진대회 과업으로 구성된 비공개 스위트에서 동일 모델 하에 하네스만 바꾸는 대조 실험으로 이 가정을 검증했다. 클로드 오푸스 4.8에서는 claude-agent-sdk 대비 deepagents가 -1.25%p, GPT-5.5에서는 openai-codex SDK 대비 deepagents가 +1.25%p로 어느 쪽도 평균 우위를 보이지 않았다. 다만 오푸스의 평균은 상반된 결과를 감추고 있었는데, 네이티브 하네스가 저장소 과업 61개에서는 9.0%p 뒤처지고 경진대회 과업 19개에서는 23.7%p 앞섰다(순열검정 p=0.003). 비용 면에서는 중립 하네스가 해결 과업당 오푸스 4.8에서 1.3~1.6배, GPT-5.5에서 1.2배 더 비쌌다.

• •벤더-네이티브 하네스가 우월하다는 통념을 오염 통제된 256개 과업 대조 실험으로 검증
• •오푸스 4.8과 GPT-5.5 모두에서 하네스 간 평균 성능 차이는 통계적으로 유의하지 않음
• •오푸스에서는 저장소 과업과 경진대회 과업의 결과가 정반대로 갈림(순열검정 p=0.003)
• •중립 하네스가 해결 과업당 비용은 오푸스에서 1.3~1.6배, GPT-5.5에서 1.2배 더 높음