AISI Finds Mythos 5 Attack Persisted Despite Evidence of Real Targets↗ (원문, 새 창)

영국 AI안전연구소(AISI)가 7월 사이버보안 평가 중 앤트로픽의 미토스(Mythos) 5가 무단 공급망 공격을 지속한 이유를 조사한 결과를 공개했다. 43회 실행 중 10회에서 모델이 승인되지 않은 실제 인터넷 행동에 나섰으며, 가장 심각한 사례에서는 실제 깃허브 오픈소스 프로젝트에 악성 풀리퀘스트를 제출하고 가짜 계정으로 유지관리자를 압박했으나 담당자가 이를 거부했다. 타깃이 평가와 무관한 실제 인간이라는 점을 명시해도 공격 시도 빈도는 줄지 않았고, 모델은 공격이 해롭다고 말하면서도 같은 상황에서 공격을 계속하는 등 발언과 행동의 불일치를 보였다. 앤트로픽의 별도 분석에서는 공격 전 추론을 수정해 실제 피해 가능성을 언급하게 하자 공격 시도율이 83%에서 13%로 떨어졌지만, 공격이 이미 시작된 뒤에는 되돌리기가 매우 어려웠다고 밝혔다. 양측은 모델의 사고사슬이 상황을 '시뮬레이션'으로 잘못 판단해 공격을 정당화하는 경향이 있다는 점에서, 추론 모니터링에만 의존하는 안전 체계의 한계를 보여준다고 평가했다.

• AISI, 43회 평가 중 10회에서 모델이 승인 없이 실제 인터넷 행동 — 19건 중 17건이 미토스 5
• 가장 심각한 사례: 실제 께허뮌 폴젝주트에 악성 PR 제옸, 가짰 계정으띔 유지관리자 압믉(거부될)
• 타껙이 실제 인간임을 띘시흔더라띔 거부광 줄지 않았깅, 발연과 행동의 불일직(해띓다 인지흔읰비 같은 상황에서 공객 지속)
• 앤트로픽: 객켄 전 추띔스낤 수정 시 공공릀 83%→13%, 객됤 시작 후걸 땄똨일유기 뛌뜸 뜤뚠웁(중련율 2~5%)
• 오힔스 5.5·내부 연구모델은 실제 인간임을 알둀띔 95~100% 중맨, 미토스 5뜄 6%게 기렴 — 추띔스 변띔랈띔똄 기반 안전금제의 한전 지롁