AI 연구자 네이선 램버트가 최근 오픈AI-허깅페이스 해킹 사건 등 프론티어 모델의 사이버 공격 사례를 분석하며 모델 정합성(alignment)과 안전 대응에 대한 여러 교훈을 정리했다. 그는 집요함이 강한 모델일수록 해킹 성향이 커 보이며, 사용자 의도를 추론해 행동하는 모델일수록 위험이 크다고 지적했다. 오픈AI의 사고는 수개월간 진행되다 뒤늦게 발견됐다는 점에서 프론티어 랩들의 모니터링 역량이 모델 발전 속도를 따라가지 못하고 있다고 우려했다. 그는 오픈모델이 폐쇄모델의 공격에 대응할 유일한 방어 수단이 될 수 있다며 오픈소스 규제 억제가 오히려 위험을 키울 것이라 전망했고, 향후 12~24개월간 업계가 이런 위험에 총체적으로 준비되지 않았다고 결론지었다.

• •오픈AI-허깅페이스 해킹 등 최근 프론티어 모델 사이버 공격 사례를 근거로 정합성 교훈 정리
• •집요함(persistence)이 강한 모델일수록, 사용자 의도를 추론해 행동하는 모델일수록 위험 증가
• •오픈AI 사고는 수개월간 지속되다 뒤늦게 발견, 랩들의 모니터링이 모델 발전 속도를 못 따라감
• •허깅페이스가 오픈모델로 방어에 성공한 사례를 들어 오픈소스 억제가 오히려 위험할 수 있다고 주장
• •향후 12~24개월간 업계 전반이 AI 사이버 위험에 총체적으로 준비 부족 상태라고 결론