이 연구는 에이전틱 AI 시스템의 다단계 취약점을 평가하기 위한 블랙박스 레드팀 프레임워크를 제안한다. 관찰 가능한 행동을 위험 범주에 매핑하는 7개 도메인 분류체계, 도메인당 120개의 적대적 시나리오를 자동 생성하는 SAGE-RT 레드티밍, LLM 판정관을 활용한 사람 검증 평가 세 가지로 구성된다. CrewAI와 AutoGen 두 아키텍처와 4개 기반 모델에 걸친 실증 평가에서 평균 거버넌스 위험 56.25%, 다중 에이전트 구성에서 프라이버시 위험 65%, 에이전트 행동 취약점은 최대 85%에 달하는 것으로 나타났다. 특권 접근 없이도 핵심 아키텍처 취약점을 식별할 수 있어 안전한 에이전트 배포를 위한 확장 가능한 방법을 제시한다.
- •7개 도메인 분류체계와 자동 레드팀링(SAGE-RT)으로 도메인당 120개 적대적 시나리오 생성
- •CrewAI·AutoGen 등 두 아키텍처, 4개 기반 모델에서 평균 거버넌스 위험 56.25% 수준으로 나타남
- •다중 에이전트 구성에서 프라이버시 위험 65%, 행동 취약점은 최대 85%까지 검출
- •특권 접근 없이도 블랙박스 방식으로 핵심 아키텍처 취약점을 탐지하는 확장 가능한 평가법 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery
본문 미리보기
arXiv:2609.09647v1 Announce Type: new Abstract: Agentic systems are rapidly moving to production, where they read untrusted inputs, call tools with real permissions, and act autonomously, expanding the security surface beyond chat-only models. Yet standard evaluations remain single-turn and fail to capture multi-step agent vulnerabilities. We present a systematic black-box framework for risk-aware agent evaluation requiring only basic system descriptions. Our approach introduces: (1) a seven-do
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

