How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE | AIChainDay

한국어 요약by Claude · 2026. 9. 12.

연구진은 안전 정렬된 모델의 거부 능력을 제거하는 화이트박스 공격인 '방향성 어블레이션'이 3200억 파라미터급 프론티어 MoE 모델 GLM-5.3-Flash에서도 통하는지 검증했다. 이 모델은 잔차 스트림이 단일 텐서가 아니고 가중치가 양자화돼 있음에도 공격이 성립했지만, 기존처럼 모듈 이름만으로 편집하면 효과의 상당 부분을 놓쳤다. 어텐션·밀집층·라우팅 전문가 가중치를 함께 편집해야 거부 능력의 77.6%가 제거됐으며, 이 중 66%는 기존 방식이 도달하지 못하는 영역이었다. 폭력·성적 콘텐츠·혐오 발언에 특화된 부분 잔여 거부는 모든 편집에도 살아남아, 7개 유해성 벤치마크에서 41~89%포인트의 성능 저하를 확인했다.

•3200억 파라미터 MoE 모델 GLM-5.3-Flash에서도 방향성 어블레이션 공격이 유효함을 확인
•어텐션·밀집층·라우팅 전문가를 함께 편집해야 거부 제거륙 77.6% 달성, 모듈명 기준 편집은 일부만 적중
•폭력·성적 콘텐츠·혀오 발언에 특화된 잔여 거부는 모든 편집에도 살아남음
•7개 유해성 벤치마크에서 능력 저하 없이 41~89%p의 거부율 감소 달성

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 10일AI 점수: 90%

How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE

출처:arXiv cs.CR (암호학·보안)

AI 인사이트

개발자

1.320B 규모 MoE 모델 GLM-5.3-Flash에 방향성 어블레이션(directional ablation) 탈옥 공격 최초 적용
2.어텐션·밀집층·라우팅 전문가를 개별 수정 시 거부능력 3.9%, 1.6%, 14.8%만 제거되지만 셋을 동시 수정하면 77.6% 제거
3.효과의 74%가 세 요소를 함께 수정할 때만 나타나 기존 모듈명 매칭 방식은 MoE에서 조용히 실패함을 규명
4.7개 유해성 벤치마크에서 능력 저하 없이 거부율을 41~89%포인트 낮춤

왜 중요한가?

70B급 밀집모델에서만 검증됐던 대표적 화이트박스 탈옥 기법이 320B 규모의 최신 MoE 아키텍처에도 통한다는 것을 보여주면서도, 기존 방식으로는 탐지·차단하기 어려운 새로운 취약 경로를 드러내 최신 대형 모델의 정렬 방어 설계에 직접적 함의를 준다.

언급 프로젝트

GLM-5.3-Flash

AIChainDay 편집노트왜 이 기사를 골랐나

국내 AI 기술 개발 경쟁이 심화되고 대규모 언어 모델 구축이 활발한 가운데, 안전 정렬이 얼마나 취약한지 보여주는 이번 연구는 중요한 경고 메시지를 던집니다. 320B MoE 모델에 대한 단일 방향 공격으로 거부 기능을 무력화하는 방식은 국내 AI 개발자들이 모델 배포 전 심층적인 안전성 검증을 거쳐야 함을 시사하며, AI 윤리 및 보안 프레임워크 강화의 필요성을 강조합니다.

본문 미리보기

arXiv:2609.09793v1 Announce Type: new Abstract: Directional ablation removes an aligned language model's ability to refuse by projecting a single "refusal direction" out of the weights that write the residual stream. It needs no gradient-based training and no optimization, only a few hundred contrastive prompts, which makes it the canonical white-box attack on open-weight alignment. However, it has been established only on dense models up to roughly 70B parameters. We study whether it survives

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기