AIarXiv cs.CR (암호학·보안)AI 점수 85%
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Black-Box Red-Teaming of Multi-Agent Systems via Reinforcement Learning (원문, 새 창)
AI 인사이트
대상 독자:개발자
- 멀티에이전트 시스템(MAS)에 특화된 최초의 강화학습 기반 레드팀 공격 프레임워크 ReMAS 제안
- 기존 단일 에이전트용 블랙박스 공격은 사용자와 직접 상호작용 안 하는 하위 에이전트엔 효과가 떨어진다는 데서 출발
- 공격 프롬프트 재작성과 특정 하위 에이전트를 유도하는 템플릿 생성 2단계로 시스템 프롬프트 추출 성공률 향상
- 서로 다른 백엔드 LLM과 MAS 구조 간 공격 전이성(transferability)까지 확인
왜 중요한가
여러 에이전트가 협업하는 구조일수록 공격 표면이 복잡해지고 기존 방어가 통하지 않을 수 있음을 보여, MAS를 운영하는 서비스에 에이전트별 방어 설계가 필요함을 시사한다.
언급 프로젝트
본문 미리보기
arXiv:2610.28966v1 Announce Type: new Abstract: Large language model (LLM) agents are increasingly deployed in multi-agent systems (MAS) to accomplish complex tasks. Prior black-box red-teaming attacks mainly focus on single agents, but we find that these methods are far less effective in MAS, where multiple sub-agents may not directly interact with the user. Therefore, we introduce ReMAS, the first reinforcement learning-based red-teaming framework tailored to MASs, which fine-tunes attacker L
전체 내용이 궁금하다면?
arXiv cs.CR (암호학·보안)에서 원문을 직접 읽어보세요
공유
- #멀티에이전트
- #레드티밍
- #강화학습
- #AI안전
이 글이 만들어진 과정
- 11:34AI 초안