지난 봄 미군이 중국 선박을 겨냥한 무력 작전에 나서려던 순간, 작전 근거였던 정보가 AI 챗봇의 환각에서 비롯됐다는 사실이 뒤늦게 드러나 작전이 막판에 취소됐다고 CNN이 보도했다. 이란과의 전쟁 중 유포된 해당 정보보고서는 해당 선박이 핵무기 프로그램 부품을 싣고 있다고 주장했는데, 특수작전사령부 분석가가 오픈소스 정보와 기밀 신호정보를 종합하도록 AI 챗봇에 질의한 결과 선박의 화물 목록이 잘못 식별된 것이 원인이었다. 이 분석가는 챗봇을 다시 활용해 잘못된 결과를 공식 보고서 형태로 정리했고, 이 내용이 지휘 계통 전반에 유포됐다. GovAI 연구원 제이크 스테클러는 특히 표적 선정이나 무력 사용으로 이어질 수 있는 판단에서는 LLM의 불확실성을 이해하는 것이 중요하다면서도, 이번 사건이 AI 도입 자체를 피할 이유가 아니라 더 많은 안전장치를 추가해야 할 근거라고 강조했다.

• •미군, 중국 선박 대상 무력 작전 직전 AI 환각 정보로 밝혀져 작전 취소
• •정보보고서, 선박이 핵무기 프로그램 부품 운반 중이라고 잘못 주장
• •특수작전사령부 분석관이 AI 챗봇으로 정보 종합 중 화물 목록 오인식 발생
• •잘못된 결과가 공식 보고서 형태로 지휘 계통에 유포됨
• •GovAI 연구원, AI 도입 중단 아닌 안전장치 강화 필요성 강조