코인베이스가 10월 7일 발표한 평가에서 오퍼스, 소네트, GPT 등 세 모델 계열의 신버전이 결제 사기 탐지에서 구버전보다 더 낮은 적발률을 보였다고 밝혔다. 1만6140건의 거래를 재현한 테스트에서 소네트의 재현율(recall)은 22.2%포인트, 금액 가중 재현율은 22.9%포인트 하락했으며, GPT는 정밀도가 11.5%포인트 올랐지만 재현율은 20.7%포인트 떨어져 겉으로 좋아 보이는 지표가 실제로는 더 많은 사기를 놓쳤음을 보여줬다. 반면 코인베이스가 과거 사기 데이터로 직접 미세조정한 큐원3.5-9B 모델은 오퍼스 4.5보다 네 가지 사기 탐지 지표에서 모두 앞섰고 응답 지연도 55% 줄었다. 코인베이스는 모델을 업그레이드하기 전 실제 결정 체계에서 사기 탐지 성능을 먼저 검증해야 한다고 권고했다.

• •코인베이스, 오퍼스·소네트·GPT 신버전이 구버전보다 결제 사기 탐지율 낮다고 발표
• •소네트 재현율 22.2%포인트 하락, GPT는 정밀도 개선됐지만 재현율 20.7%포인트 급락
• •자체 미세조정한 큐원3.5-9B 모델은 오퍼스 4.5 대비 전 지표 우위, 지연 55% 감소
• •코인베이스, 실제 거래 손실까지 입증된 것은 아니며 원인도 특정하지 못했다고 명시