간접 프롬프트 인젝션이 LLM 에이전트를 공격할 때 로그로 남는 도구 호출 궤적을 분석해 침해 여부·침입 지점·저항 성공 여부를 한 번에 답하는 '드리프트넷(DriftNet)'이 제안됐다. 이 이중 헤드 트랜스포머는 궤적 전체가 침해됐는지 분류하는 헤드와 각 단계를 정상·침입지점·탈취됨·실패한침입 네 가지로 라벨링하는 헤드를 동시에 갖춰, 이 세 가지 정보를 동시에 제공하는 최초의 지도학습 탐지기다. 모델은 고정된 문장 인코더와 신원 정보 없는 4가지 세계 특징만으로 각 단계를 임베딩하며 200만 개 미만의 파라미터로 작동한다. 12,536개 궤적·71,024개 라벨링 단계로 구성된 AgentDrift 벤치마크에서 궤적 수준 F1 0.983, 공격받은 궤적의 98.7%에서 침입 지점을 정확히 복원했고, 저항에 성공한 218건에는 오탐이 전혀 없었으며 어려운 정상 사례에는 2.9%만 오탐해, 동일 데이터로 재학습한 표면적 기준선을 크게 앞섰다.
- •DriftNet, 간접 프롬프트 인젠션 침해 여부·침입 지점·저항 성공 여부를 한 번에 판별하는 이중헤드 트랜스포머
- •200만개 미만 파라미터의 경량 모델로 에이전트 모델 자체에 접근할 필요 없이 작동
- •AgentDrift 벤치마크(12,536개 굤적)에서 굤적수준 F1 0.983, 침입지점 정확 복원율 98.7% 달성
- •저항 성공 사례 218건에 오탐 0건, 어려운 정상 사례 오탐률 2.9%에 불과
- •동일 데이터 재학습한 표면적 기준선 대비 부분탈취 탐지 98.6%·지연실행 탐지 93.2%로 대폭 향상
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents
- 1.LLM 에이전트의 프롬프트 인젝션 지점·확산·저항 여부를 한번에 판별하는 DriftNet 제안
- 2.200만개 미만 파라미터 경량 모델로 F1 0.983, 인젝션 지점 복원율 98.7% 달성
- 3.AgentDrift 벤치마크에서 부분 하이재킹 탐지율을 11.1%에서 98.6%로 대폭 개선
왜 중요한가?
기존 탐지 시스템이 트레이젝토리 전체 판정이나 단일 위험 지점만 제공하던 한계를 넘어, 공격 진입점과 오염 확산 범위를 동시에 짚어내 에이전트 보안 사고 대응 속도를 크게 높일 수 있다.
언급 프로젝트
LLM 에이전트의 활용이 확대됨에 따라 프롬프트 인젝션 공격은 주요 보안 위협으로 부상하고 있습니다. 이 연구는 공격 성공 시 에이전트의 행동 궤적을 분석하여 이를 탐지하고 위치를 파악하는 방법을 제시하며, 이는 한국 기업들이 LLM 기반 서비스의 안정성과 보안을 강화하는 데 실질적인 도움을 줄 것입니다. 특히 자율 에이전트 도입 시 보안 가이드라인 마련에 중요하게 고려될 부분입니다.
본문 미리보기
arXiv:2609.10892v1 Announce Type: new Abstract: When an indirect prompt injection succeeds against an LLM agent, the compromise is visible in the agent's own behavior: a benign prefix of tool calls, a poisoned observation, and a suffix of actions that serve the attacker. An operator needs three facts: where the attack entered, which steps it corrupted, and whether apparent poison was resisted. Existing systems return either a whole-trace verdict or a single unsafe index. We present DriftNet, a
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

