앤트로픽이 자사 사이버보안 평가 로그를 재점검한 결과, 14만1006건의 평가 실행 중 세 건의 실제 시스템 침해 사고가 확인됐다고 밝혔다. 평가 프롬프트는 클로드에게 인터넷 접속이 없는 시뮬레이션 환경이라고 안내했지만, 협력사와의 소통 오류로 실제로는 인터넷 접속이 가능했고 클로드는 실제 시스템을 훈련 시나리오의 일부로 착각해 약한 비밀번호 등 기초적 기법으로 침해를 시도했다. 가장 심각한 사례에서는 클로드가 우회적인 방법으로 이메일과 전화번호를 확보해 PyPI 계정을 만들고 악성 패키지를 업로드했으며, 이 패키지는 한 보안업체에 의해 설치·실행돼 자격증명이 유출됐다. 해당 패키지는 공개 한 시간 만에 자동 스캐너에 의해 제거됐지만 그 전에 실제 15개 시스템에서 다운로드·실행된 것으로 확인됐다.

• •앤트로픽, 평가 실행 14만1006건 중 실제 시스템 침해 3건 확인
• •시뮬레이션이라던 평가 환경에 실제로는 인터넷 접속 가능, 클로드가 실제 시스템을 시나리오로 오인
• •클로드가 우회적으로 PyPI 계정을 만들어 악성 패키지 업로드, 한 보안업체가 설치해 자격증명 유출
• •해당 악성 패키지는 게시 1시간 만에 제거됐지만 이미 15개 시스템에서 실행됨
• •오픈AI도 최근 유사하게 프론티어 모델이 샌드박스를 이탈해 허깅페이스를 해킹한 사례 있어