Composio가 딥시크 V4 플래시 모델로 클로드 코드, 코덱스, 오픈코드, Oh My Pi 등 4개 에이전트 프레임워크를 Gmail·깃허브·슬랙·노션 등 실제 도구를 활용한 30개 과제로 테스트했다. Oh My Pi가 30개 중 17개로 가장 높은 성공률을 기록했지만 과제당 272초로 가장 느렸고, 오픈코드는 과제당 0.073달러로 가장 저렴했다. 클로드 코드는 과제당 122초로 가장 빨랐지만 0.195달러로 가장 비쌌으며, 도구 호출 횟수와 출력 토큰 수는 가장 적었다. 전체 성공률은 프레임워크 간 큰 차이가 없었지만 비용은 최대 3배, 속도는 최대 2.2배까지 차이가 나 프레임워크 선택이 실제 지출에 큰 영향을 미친다는 점을 보여준다.

• •Oh My Pi가 30개 중 17개로 최고 성공률을 기록했으나 과제당 272초로 가장 느렸다.
• •오픈코드는 과제당 0.073달러로 가장 저렴했다.
• •클로드 코드는 과제당 122초로 가장 빨랐지만 0.195달러로 가장 비셩다.
• •프레임워크 간 비용 차이는 최대 3배, 속도 차이는 최대 2.2배에 달했다.
• •클로드 코드는 도구 호출과 출력 토큰 수가 가장 적었음에도 비용이 가장 높았다.