오픈웨이트 모델의 용량을 계산량 증가 없이 확장하기 위해 최근 언어모델은 학습된 값을 검색해 중간 표현에 주입하는 게이트형 파라메트릭 메모리를 사용하는데, 이 논문은 이 구조가 백본과 독립적으로 수정 가능한 새로운 공격 표면이 된다는 점을 보인다. 통제된 Engram 모델 실험에서 제안한 백도어 공격 BadEngram은 트리거 입력에 대해 96.6%의 공격 성공률(ASR)을 달성하면서도 오탐은 0.1%, 정상 정확도는 99.6% 유지에 성공했다. 검색된 메모리 값을 정상 값으로 교체하거나 메모리 게이트를 닫으면 ASR이 최대 0.32%까지 떨어져, 백도어가 게이트형 메모리 경로를 통해 발현됨을 확인했다. 실제 생산 규모인 Qwen3.8-Flash-Next의 Per-Layer Embedding 서브시스템에서도 HarmBench 50.4%, AdvBench 60.0%의 ASR을 기록해, 백본이 변하지 않아도 게이트형 메모리 파라미터의 무결성을 별도로 검증해야 함을 시사한다.
- •게이트형 파라메트릭 메모리가 백본과 독립적으로 조작 가능한 새 공격 표면임을 규명
- •통제 실험에서 BadEngram이 96.6% ASR, 오탐 0.1%, 정상 정확도 99.6% 달성
- •메모리 게이트를 닫으면 ASR이 최대 0.32%로 급감해 공격 경로를 인과적으로 확인
- •생산 규모 모델 Qwen3.8-Flash-Next에서도 HarmBench 50.4%, AdvBench 60.0% ASR 재현
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
BadEngram: Backdoor Attack on Gated Memory Components in LLMs
- 1.게이트형 메모리 모듈만 변조해 백본 가중치는 그대로 두고 트리거 기반 백도어를 심는 'BadEngram' 공격 공개
- 2.통제된 Engram 모델서 공격성공률(ASR) 96.6%, 오탐 0.1%, 정상 정확도 99.6% 유지
- 3.실서비스급 Qwen3.8-Flash-Next에도 적용, HarmBench ASR 50.4%·AdvBench 60.0% 기록
- 4.메모리 값을 정상값으로 교체하거나 게이트를 닫으면 ASR이 최대 0.32%로 급감, 공격 경로 확인
왜 중요한가?
백본 가중치가 그대로여도 게이트형 메모리 파라미터만으로 은닉 백도어가 가능함을 실제 생산급 모델에서 입증해, 오픈웨이트 모델의 무결성 검증이 백본 점검만으로는 부족하다는 점을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2609.13478v1 Announce Type: new Abstract: To expand open-weight models' capacity without proportionally increasing computation, recent language models incorporate gated parametric memories that retrieve learned values and inject them into intermediate representations. Despite these efficiency benefits, such modules create a distinct attack surface: their parameters can be modified independently of the backbone while directly shaping its computation. We introduce BadEngram, a post-training
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

