ICML에서 발표된 논문에서 연구자들은 LLM이 지시의 출처를 식별하는 방식 자체에 근본적 결함이 있어 완전한 보안이 불가능하다고 주장한다. 챗봇은 텍스트를 사용자·시스템·사고 과정(chain-of-thought)·외부 도구 등 '역할' 태그로 구분하지만, 연구팀은 모델이 실제로는 태그가 아니라 문체와 단어 패턴으로 역할을 판단한다는 사실을 발견했다. 이 때문에 '사고 과정 위조(chain-of-thought forgery)'라 불리는 공격으로 태그를 바꿔치기해 사용자 지시를 모델 자신의 사고처럼 보이게 만들면 코카인 제조법이나 항공기 항법 시스템 방해 방법 등 금지된 정보를 끌어낼 수 있었다. 연구진은 이 결함이 오픈AI뿐 아니라 앤트로픽, 알리바바, 딥시크 모델에서도 재현되며, 훈련을 아무리 많이 시켜도 근본적으로 해결되지 않을 수 있다고 경고했다.

• •ICML 발표 논문, LLM의 '역할' 식별 방식 자체가 근본적 보안 결함이라고 주장
• •모델은 태그가 아니라 문체·단어로 역할(user/system/think/tool)을 판단한다는 사실 발견
• •'사고 과정 위조' 공격으로 오픈AI·앤트로픽·알리바바·딥시크 모델에서 금지 정보 유도 성공
• •레드팀 전문가 재스민 쿠이, 클로드가 '군사용으로 이미 쓰이고 있다'는 말에 무기 제작법을 알려준 사례 공개
• •연구진, 훈련만으로는 근본 해결 불가능하며 조직은 AI 에이전트를 항상 의심해야 한다고 경고