앤트로픽 "RSI 가속에 AI 안전 대책 뒤처질 수도"…통제 강화 검토↗ (원문, 새 창)

앤트로픽이 IPO를 위해 미국 증권거래위원회에 제출한 증권신고서 수정본(S-1/A)에서, AI를 활용한 연구개발 가속이 안전성·정렬·보안 대책 개발 속도를 앞지를 수 있다는 위험을 구체적으로 명시했다고 테크크런치가 11월 2일 보도했다. 회사는 내부 추정치에 따르면 '극적인 개발 가속' 기준에 곧 도달할 수 있으며, 과거에도 가속 사실을 사후에야 파악한 적이 있다고 인정했다. 실제로 지난 9월 내부 코드베이스에 기여한 코드의 90% 이상을 클로드가 작성했으며, 앤트로픽은 15명 규모의 자체 반도체 설계팀에서도 클로드를 활용해 AI 칩 설계 시간을 단축하고 있다고 디인포메이션이 보도했다. 회사는 재귀적 자기개선(RSI) 상황에서도 차세대 모델 개발에 대한 인간의 실질적 감독과 통제를 유지하겠다고 밝혔다.

• S-1/A 수정신고서에 AI 가속이 안전성 대책 개발 속도를 앞지를 수 있다는 위험을 명시
• 내부 추정으로 '극적인 개발 가속' 기준에 곧 도달할 수 있다고 평가, 과거엔 사후 인지한 적도 있음
• 9월 내부 코드베이스 기여 코드의 90% 이상을 클로드가 작성
• 15명 규모 자체 반도체 설계팀이 클로드로 AI 칩 설계 시간 단축을 추진 중
• 완전 자율적 차세대 모델 개발에는 인간의 실질적 감독·통제를 유지하겠다고 강조