Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models | AIChainDay

한국어 요약by Claude · 2026. 9. 20.

이 논문은 LLM 내부 활성화 상태만으로 유해 콘텐츠를 탐지할 수 있는지를 검증한다. LLaMA-3.1-8B에서 활성화 값을 추출해 1260만 개 파라미터의 경량 MLP 분류기(프로브)를 학습시켜, 별도의 대형 가드레일 모델 없이도 유해 프롬프트를 판별하게 했다. WildJailbreak, Beavertails, AEGIS 2.0 세 벤치마크에서 각각 F1 99%, 83%, 84%를 기록해 1000배 이상 큰 외부 가드 모델과 맞먹는 성능을 보이면서도 지연 시간과 연산 비용은 크게 줄였다. 자원이 제한된 실시간 배포 환경에서 안전 검사를 훨씬 가볍게 만들 수 있는 실용적 대안을 제시한다.

•LLaMA-3.1-8B의 내부 활성화만으로 유해 프롬프트를 탐지하는 1260만 파라미터 경량 프로브 개발
•WildJailbreak·Beavertails·AEGIS 2.0에서 F1 99%·83%·84% 달성
•1000배 큰 외부 가드 모델과 동등한 성능을 지연·연산 비용은 크게 낮춰 확보
•자원 제약 환경의 실시간 안전 검사에 실용적 대안 제시

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 18일AI 점수: 90%

Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models

출처:arXiv cs.AI

AI 인사이트

개발자

1.LLaMA-3.1-8B 내부 활성화값서 경량 MLP 프로브(1260만 파라미터)로 유해 프롬프트 탐지
2.WildJailbreak·Beavertails·AEGIS 2.0서 각각 F1 99%·83%·84% 기록
3.1000배 큰 외부 가드레일 모델과 맞먹는 성능을 훨씬 적은 파라미터로 달성
4.지연시간·연산비용 대폭 절감해 자원 제약 큰 실시간 배포 환경에 적합

왜 중요한가?

'모델이 이미 유해성을 내부적으로 아는가'라는 질문에서 출발해, 거대한 외부 가드레일 없이도 내부 활성화만으로 저지연 안전필터를 만들 수 있음을 보여줘 엣지·실시간 자율시스템의 안전장치 비용을 크게 낮춘다.

언급 프로젝트

LLaMA-3.1-8B WildJailbreak Beavertails AEGIS 2.0

본문 미리보기

arXiv:2609.19472v1 Announce Type: new Abstract: Autonomous systems increasingly rely on Large Language Models (LLMs) yet the safety infrastructure surrounding these models introduces latency and compute overhead. This limits utility in resource-constrained, time-critical deployments. Existing external guardrail models remain blind to the model's internal workings, creating a fundamental assurance gap. We ask: does the model already know when the content is harmful? We extract activations from L

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기