대형언어모델의 안전성 정렬은 갈수록 다양해지는 공격에 취약한데, 크래프트된 프롬프트로 안전장치를 우회하는 탈옥 공격과 배포 후 안전 관련 뉴런을 직접 제거하는 뉴런 수준 공격 모두 안전 관련 정보가 소수 뉴런 집합에 집중돼 있다는 공통 약점을 노린다. 연구진은 파인튜닝 단계에서 안전 신호를 더 넓은 뉴런 집합으로 재분배해 두 공격 유형 모두를 동시에 방어하는 'NeuronGuard'를 제안한다. 이 기법은 주기적으로 갱신되는 레이어별 선형 분류기로 안전 핵심 뉴런을 동적으로 식별하고, 의도적 뉴런 제거 상황에서도 거부 행동을 강제하며, KL 발산 정규화로 분포 일관성을 유지하고 무작위 그래디언트 투영으로 방어와 작업 목표 간 충돌을 해소해 하위 작업 성능을 보존한다. 3개 LLM·6개 최신 공격 기법·멀티모달 환경 실험에서 공격성공률(ASR) 상한을 엄격히 낮춘다는 이론적 보장과 함께 화이트박스 적응형 공격에서도 거의 0%에 가까운 ASR을 유지하면서 작업 정확도를 유지했다.
- •탈옥 공격과 뉴런 수준 공격 모두 안전 정보가 소수 뉴런에 집중된 취약점을 공통으로 노림
- •파인튜닝 단계에서 안전 신호를 넓은 뉴런 집합으로 재분배하는 'NeuronGuard' 제안
- •레이어별 동적 분류기로 안전 핵심 뉴런 식별, KL 정규화·무작위 그래디언트 투영으로 성능 보존
- •3개 LLM·6개 공격 기법 실험에서 화이트박스 적응형 공격에도 거의 0%에 가까운 공격성공률 달성
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
NeuronGuard: Robust LLM Safety Alignment via Ablation-Aware Safety Signal Redistribution
- 1.탈옥·뉴런프루닝 공격이 공통적으로 소수 안전뉴런에 의존한다는 관찰 기반 방어 NeuronGuard 제안
- 2.레이어별 선형분류기로 안전뉴런 동적 식별, 뉴런제거시에도 거부행동 강제
- 3.KL발산 정규화·무작위 그래디언트 투영으로 방어-성능 충돌 해소, ASR 상한 감소를 이론적으로 보장
- 4.3개 LLM·6개 최신공격·멀티모달서 화이트박스 적응공격에도 ASR을 거의 0%로 유지
왜 중요한가?
탈옥과 뉴런 조작을 별개로 다뤄온 기존 방어와 달리 공유 취약점을 동시 해소해 안전정렬 무력화 문제에 근본 대응한다.
언급 프로젝트
LLM의 안전성 정렬을 강화하고 다양한 공격에 대한 복원력을 높이는 이 연구는 국내 책임감 있는 AI 개발에 필수적입니다. 탈옥(Jailbreak) 공격 및 뉴런 수준의 공격으로부터 LLM을 보호하는 기술은 유해 콘텐츠 생성 방지 및 AI 윤리 확보에 직접적으로 기여합니다. 국내 AI 기업 및 정책 입안자들은 안전하고 신뢰할 수 있는 LLM 서비스 제공을 위해 이러한 고급 안전성 기술 도입을 적극적으로 모색해야 합니다.
본문 미리보기
arXiv:2608.23959v1 Announce Type: new Abstract: Safety alignment in large language models (LLMs) remains brittle against a growing spectrum of attacks. Jailbreak attacks bypass safety mechanisms through crafted prompts, while neuron-level attacks directly prune safety-critical neurons post-deployment. Both exploit a common weakness: safety-relevant information concentrates in a sparse neuron subset. We present NeuronGuard, a fine-tuning-stage defense that simultaneously hardens LLMs against bot
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
