에이전트 평가업체 컴포지오가 딥시크-V4 플래시를 클로드 코드, 코덱스, 오픈코드, 오 마이 파이 등 4개 하네스로 지메일·깃허브·슬랙 등 실제 업무 30개 과제에서 240회 테스트한 결과, 같은 모델이라도 구동 하네스에 따라 과제 완료율이 46.7%에서 56.7%까지 최대 10%포인트 벌어졌다. 비용 차이는 더 커서 성공당 비용이 오 마이 파이 0.073달러, 클로드 코드 0.195달러로 2.7배 차이가 났고, 속도는 반대로 클로드 코드가 122.7초로 가장 빨랐다. 이는 엔터프라이즈 AI 에이전트 도입의 성패가 모델 벤치마크 점수보다 재시도 로직, 도구 호출 방식 등 하네스 아키텍처 최적화에 좌우된다는 점을 보여준다.

• •딥시크-V4 플래시, 4개 하네스로 30개 실무 과제 240회 테스트한 컴포지오 실험 결과 공개
• •과제 완료율 46.7~56.7%로 하네스에 따라 최대 10%포인트 차이, 4개 환경 모두 성공한 과제는 6개뿐
• •성공당 비용은 오 마이 파이 0.073달러 vs 클로드 코드 0.195달러로 2.7배 차이
• •딥시크-V4 플래시는 지능지수 50점으로 이전 버전보다 성능·토큰 효율 개선, 오픈라우터 토큰 사용량 1위 기록