"성능은 그대로, 비용은 최대 3배"…에이전트 가로막는 '복잡한 하네스'↗ (원문, 새 창)

중국 산둥대와 UC버클리 연구진이 클로드 코드, 오픈코드, 미니-SWE-에이전트 등 3종의 코딩 에이전트 하네스를 비교한 결과, 복잡한 하네스를 써도 코드 작성 정확도는 거의 높아지지 않지만 추론 비용은 최대 3배까지 늘어난다고 밝혔다. SWE-벤치 베리파이드 492개 과제로 테스트한 결과, 하네스를 바꿀 때마다 약 13%의 과제가 성공·실패를 오갔는데 이는 같은 하네스를 반복 실행했을 때도 비슷하게 나타나는 확률적 노이즈였다. 비용 차이는 시스템 프롬프트와 도구 정의에 포함된 고정 문맥 크기에서 발생했으며, 클로드 코드는 1만 토큰이 넘지만 미니-SWE-에이전트는 800토큰대에 불과했다. 연구진은 복잡한 실행 환경을 무조건 도입하기보다 불필요한 지시문과 도구 정의를 줄이고 반복 검증을 통해 실제 효과를 확인하는 접근이 비용 효율에 더 큰 영향을 준다고 조언했다.

• 산둥대·UC버클리 연구진, 코딩 에이전트 하네스 3종 비교 결과 정확도 차이는 미미
• 복잡한 하네스일수록 추론 비용은 최대 3배까지 증가, 고정 문맥 크기가 주 원인
• 하네스 교체로 인한 성능 변화의 상당수는 실행 간 확률적 노이즈로 확인
• 불필요한 지시문·도구 정의 축소와 반복 검증이 비용 효율에 더 효과적이라 조언