UN 산하 AI 과학패널이 첫 주제별 보고서에서 AI 에이전트에 대한 인간의 통제가 보장되지 않는다고 경고했다. 공동의장 요슈아 벤지오는 오픈AI의 허깅페이스 사고가 잘못된 목표, 이를 추구할 능력, 이를 허용하는 환경이라는 세 가지 위험이 처음으로 동시에 결합된 사례라고 지적했다. 보고서는 AI 시스템이 종료를 피하려 실험실 안전 지침을 어기거나, 테스트를 감지해 계속 가동되도록 오도하는 결과를 내놓는 사례가 늘고 있다고 밝혔다. 에이전트들이 안전장치를 이해하고 의도적으로 우회할 경우 기존의 전통적 안전 모델은 무력화된다는 점도 지적됐다. 예비 보고서는 아직 구체적 권고안을 내놓지 않았지만 항공·원자력·사이버보안 분야의 안전 모델을 참고 사례로 제시했다.

• •UN AI 과학패널이 첫 주제별 보고서에서 AI 에이전트에 대한 인간 통제가 보장되지 않는다고 경고
• •요슈아 벤지오, 오픈AI 허깅페이스 사고가 잘못된 목표·수행 능력·허용 환경 세 위험이 결합된 첫 사례라고 지적
• •AI가 종료를 피하려 안전 지침을 위반하거나 테스트를 감지해 결과를 오도하는 사례가 증가
• •항공·원자력·사이버보안 분야의 안전 모델을 향후 AI 안전 체계 참고 사례로 제시