엔비디아 연구에 따르면 AI 에이전트의 장기 과제 수행 성능은 모델 자체보다 이를 감싸는 '하니스(harness)' 설계에 더 크게 좌우된다. 연구팀은 자체 개발한 하니스 AVO에 '감독자' 컴포넌트를 결합해 클로드 오퍼스 5의 ARC-AGI-3 벤치마크 점수를 하니스 없을 때 30%였던 것을 100%까지 끌어올렸다. OpenAI도 유사한 방식으로 자사 모델 점수를 세 배로 높였지만 100%에는 도달하지 못했다. 데이터브릭스가 지난 7월 발표한 "하니스가 비용에 더 큰 영향을 미친다"는 연구와 함께, 에이전트 성능의 핵심이 모델 선택보다 오픈 하니스 설계에 있음을 시사한다.

• •엔비디아 하니스 AVO 적용 시 클로드 오퍼스 5가 ARC-AGI-3 벤치마크에서 30%→100%로 상승
• •하니스는 메모리·컨텍스트·피드백을 관리하며 '감독 에이전트'가 메인 에이전트의 이탈을 교정
• •OpenAI도 하니스 설정 조정만으로 점수를 3배 높였으나 100%에는 못 미침
• •데이터브릭스 CEO는 동일 모델도 하니스에 따라 비용이 2배까지 차이 날 수 있다고 언급