앤트로픽, '클로드' 자기 대화 감시 기술 도입…유해 사용 78% 탐지↗ (원문, 새 창)

앤트로픽이 클로드가 답변 직후 자신의 대화를 스스로 점검해 악용 여부를 평가하는 '자기 평가(Self-Assessment)' 기술을 올해 6월 '클로드 페이블 5'부터 도입해 운영 중이라고 밝혔다. 별도 AI 모델 없이 평균 10개 토큰만 추가 생성해 기존 고성능 분류 모델이 유해하다고 판단한 대화의 78%, 고위험 대화의 94%를 탐지했으며 추가 연산 비용은 전체의 2% 미만이다. 이 기술로 지난 8월 한 API 고객 계정에서 아동 성착취 의심 활동 10만건 이상을 적발해 신고했고, 9월에는 클로드 코드를 이용한 연애 사기 자동화 조직도 찾아냈다. 다만 자기 평가만으로 공격을 막을 경우 성공률이 79%에서 54%로 낮아지는 데 그쳐 기존 실시간 차단 장치와 병행 운영된다.

• 앤트로픽, 클로드가 답변 후 스스로 위험성을 평가하는 '자기 평가' 기술 공개
• 6월 클로드 페이블 5부터 도입, 추가 연산 비용 전체의 2% 미만
• 기존 고성능 분류 모델 기준 유해 대화 78%, 고위험 대화 94% 탐지
• 8월 아동 성착취 의심 활동 10만건 이상 적발, 9월 연애사기 조직 차단
• 자기 평가 단독 적용 시 공격 차단 성공률은 79%→54%로 제한적