연구진이 LLM의 디코딩 단계에서 안전성을 강화하는 새로운 방어 기법 'LADE(Latent Safety Signals for Defense)'를 제안했다. 기존 디코딩 단계 방어는 안전성을 높이면 정상 질의에 대한 유용성이 떨어지거나 특정 모델 아키텍처에만 의존하는 한계가 있었다. LADE는 유해 질의와 양성 질의를 대조해 첫 토큰 확률 분포에 숨겨진 '다크 날리지'에서 안전 판별 신호를 추출하고, 이를 토크나이저 간 매핑으로 모델에 구애받지 않게 적용한 뒤 k-최근접이웃(kNN) 탐색으로 질의를 분류한다. 이 안전 신호는 여러 LLM에서 일관되게 나타나는 모델 불문적 방향성을 형성하는 것으로 확인됐으며, 다양한 LLM과 벤치마크에서 재일브레이크 공격에 강한 저항력을 보이면서도 안전성과 유용성 간 균형을 유지했다.
- •LLM 디코딩 단계 안전 방어 기법 'LADE' 제안, 첫 토큰 확률분포의 '다크 날리지' 활용
- •유해·양성 질의 대조로 안전 판별 토큰(안전 신호) 추출
- •토크나이저 매핑으로 모델 아키텍처에 구애받지 않는 범용 적용 가능
- •kNN 탐색 기반으로 질의를 분류, 추가 내부 은닉상태 불필요
- •다양한 LLM·벤치마크에서 재일브레이크 공격 저항력 확보하며 과잉거부 문제 완화
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge
- 1.LLM 첫 토큰 확률분포의 'dark knowledge'에서 모델 무관 잠재 안전신호를 추출하는 방어기법 LADE 제안
- 2.유해·정상 질의 간 확률이 크게 갈리는 토큰을 선별해 토크나이저 간 매핑 후 kNN으로 판별
- 3.내부 hidden state에 의존하지 않아 아키텍처 제약 없이 다양한 LLM에 적용 가능
- 4.여러 LLM·벤치마크에서 다양한 jailbreak 공격 성공률을 낮추며 안전성-유용성 균형도 양호하게 유지
왜 중요한가?
기존 디코딩 단계 방어는 내부 hidden state에 의존해 특정 아키텍처에 국한되거나 과도한 거부로 유용성을 해쳤는데, LADE는 모델에 무관하게 적용 가능해 상용 LLM 서비스의 범용 안전장치로 쓰일 잠재력이 있다.
언급 프로젝트
LLM 안전성 확보를 위한 이 연구는 국내에서 빠르게 확산되는 LLM 기반 서비스의 신뢰성 문제를 해결하는 데 필수적입니다. 공격 탐지 및 방어 접근법은 국내 기업들이 민감한 데이터를 다루거나 사용자에게 중요한 정보를 제공하는 LLM을 안전하게 배포하고 운영하는 데 큰 도움이 될 것입니다. 이는 향후 국내 AI 윤리 가이드라인 및 규제 환경에서 중요한 고려사항이 될 것입니다.
본문 미리보기
arXiv:2610.07532v1 Announce Type: new Abstract: LLMs have advanced rapidly, raising growing concerns about their safety. Recent work has proposed approaches to detect and defend against attacks including defenses at decoding stage that leverage models' hidden states. However, existing decoding-stage defenses suffer from two limitations. First, they introduce a trade-off between safety and over-refusal, where strengthening safety degrades the model's helpfulness on benign queries. Second, many o
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
