AIarXiv cs.CR (암호학·보안)AI 점수 90%
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Defending Against Dormant Poisoning Attacks Across Language and Multimodal Agents (원문, 새 창)
AI 인사이트
대상 독자:개발자
- 출시 시점엔 숨어있다가 양성 미세조정 후 활성화되는 '잠재 포이즈닝'이 에이전트의 미학습 행동과 멀티모달까지 확장됨을 실증
- 유해 입력과 모델 자신의 안전한 응답을 짝지은 'Safety Buffer'로 외부 참조모델 없이 방어 구성
- LookAhead Defense는 미세조정 업데이트를 미리 시뮬레이션해 안전행동을 약화시키는 업데이트만 선택적으로 억제
- 언어모델·언어에이전트·멀티모달에이전트에서 유해행동을 최대 93.9%→14.2%, 유해응답을 최대 92.5%→2.0%로 낮춤
왜 중요한가
파운데이션 모델이 에이전트로 쓰이면서 잠재 포이즈닝이 보지 못한 행동이나 여러 유해행동 조합으로까지 확장될 수 있음을 보였고, 외부 안전 응답 없이도 모델 자신의 역설적 특성을 이용해 방어한다는 점에서 배포 후 미세조정 단계의 새로운 방어 축을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.24379v1 Announce Type: new Abstract: Recent work shows that attackers can implant dormant malicious behaviors that remain hidden at release but emerge after benign fine-tuning. As foundation models are used as agents, whether dormant poisoning extends to harmful agent actions and multimodal settings remains unclear. We show two agentic risks: (1) harmful behaviors activated by benign fine-tuning can extend to unseen actions; (2) multiple harmful behaviors can coexist and be jointly a
전체 내용이 궁금하다면?
arXiv cs.CR (암호학·보안)에서 원문을 직접 읽어보세요
공유
- #휴면포이즈닝
- #멀티모달에이전트
- #AI안전성
- #트로이목마
이 글이 만들어진 과정
- 11:24AI 초안