LLM 기반 에이전트의 단일 프롬프트 악의성 판단 대신 상호작용 궤적 전반의 위험을 모델링하는 저지연 사기 탐지 레이어를 제안한다. 프롬프트 특성, 세션 다이나믹스, 도구 사용, 실행 컨텍스트 등 42개 구조화된 런타임 특성과 XGBoost 분류기를 사용하며, 12,000개 합성 다중 턴 에이전트 상호작용으로 평가한 결과 LLM 기반 탐지기 대비 9배 이상 빠른 성능을 달성했다. 상호작용 수준 행동 탐지가 LLM 에이전트 배포 방어의 핵심 구성 요소가 되어야 함을 제안한다.
- •단일 프롬프트 분석 대신 상호작용 군적 전반의 위험을 모델링하는 보완적 방어 메커니즘을 제안한다.
- •프롬프트 특성, 세션 다이나믹스, 도구 사용 등 42개 구조화된 특성과 XGBoost를 활용한다.
- •12,000개 합성 다중 턴 에이전트 상호작용으로 평가하여 LLM 기반 탐지기 대비 9배 이상 빠른 성능을 달성했다.
- •상호작용 수준 행동 탐지가 LLM 에이전트 배포 방어의 핵심 구성 요소가 되어야 함을 제안한다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents
- 1.LLM 에이전트의 적대적 상호작용 탐지를 위한 저지연 사기 탐지 레이어 제안
- 2.42개 구조화 특성과 XGBoost로 LLM 기반 탐지기 대비 9배 이상 빠른 실시간 탐지
- 3.12,000개 합성 멀티턴 대화로 직접 프롬프트 인젝션, 간접 콘텐츠 공격 패턴 탐지
왜 중요한가?
자율성이 높아진 LLM 에이전트의 적대적 조작 취약점을 경량 실시간 방어로 보완하는 실용적 접근으로, 프로덕션 배포 보안의 핵심 레이어로 기능할 수 있음.
언급 프로젝트
본문 미리보기
arXiv:2605.01143v1 Announce Type: new Abstract: Large Language Model (LLM)-powered agents demonstrate strong capabilities in autonomous task execution, tool use, and multi-step reasoning. However, their increasing autonomy also introduces a new attack surface: adversarial interactions can manipulate agent behavior through direct prompt injection, indirect content attacks, and multi-turn escalation strategies. Existing defense strategies focus on prompt-level filtering and rule-based guardrails,
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:12AI 초안
