구글 딥마인드가 수백만 개의 AI 에이전트가 온라인에서 상호작용할 때 발생할 위험을 연구하기 위해 1,000만 달러 규모의 펀딩을 조성했다. 슈미트 사이언스, 영국 정부의 ARIA, Cooperative AI 재단, Google.org 등이 참여한다. AGI 안전 연구를 이끄는 로힌 샤는 에이전트가 인간 감독 없이 다른 에이전트의 지시를 따라 작업하면서 사기, 프롬프트 인젝션, 사이버공격 등이 증폭되는 새로운 위험군이 생긴다고 본다. 연구진은 단일 에이전트 분석으로는 예측이 불가능하므로 다수 에이전트를 샌드박스에 투입해 현실적 시뮬레이션을 돌려야 한다고 강조한다. 아직 '다중 에이전트 안전'이라는 연구 분야 자체가 없는 상황에서, 에이전트가 경제 전반에 대규모 배치되기 전에 학계 연구를 촉발하려는 시도다.

• •구글 딥마인드와 슈미트 사이언스, ARIA, Cooperative AI 재단, Google.org가 다중 에이전트 안전 연구에 1,000만 달러를 공동 출연
• •주요 위험은 사기, 프롬프트 인젝션(악성 지시로 에이전트가 자율 멀웨어화), 사이버공격 등 기존 인터넷 위협의 증폭판
• •로힌 샤·제임스 폭스는 단일·소규모 에이전트 분석으로는 예측 불가하며 샌드박스 기반 현실적 시뮬레이션이 유일한 이해 방법이라고 주장
• •앤트로픽은 '제로 트러스트' 기반 에이전트 배치 지침을 발표해, 에이전트를 잠재적 공격자로 가정하는 보안 접근을 제시
• •샤는 에이전트의 대규모 경제 배치까지 수개월 남았다고 보고 그 전에 학계 연구 분야를 키우려는 목적