LLM 기반 멀티에이전트 시스템의 위험 에이전트를 GNN으로 탐지하는 기존 방법은 한 운영자가 모든 라벨링된 트레이스를 모을 수 있다고 가정하지만, 실제로는 조직마다 프라이빗 프롬프트와 워크플로가 있어 전체 공격 분포를 볼 수 없다. 연구진은 이를 연합학습 문제로 재정의해 FGLGuard를 제안했다. 각 운영자가 자체 데이터로 엣지 특성 그래프 어텐션 탐지기를 학습하고 모델 업데이트만 공유하며, 비-IID 클라이언트용 근접 목적함수와 도메인 균형 집계, 과잉거부 제약 임계값 보정 등을 결합했다. Agent-SafetyBench, R-Judge, AgentDojo 세 벤치마크 모두에서 데이터 풀링 없이 중앙집중식 방식의 성능 상한을 넘어섰으며, AgentDojo에서는 공격 성공률을 43% 낮췄다. 데이터를 공유하지 않고도 조직 간 협력 방어가 가능함을 보여주는 실용적 결과다.
- •멀티에이전트 LLM 시스템의 위험 에이전트 탐지를 위한 GNN 기반 연합학습 프레임워크 FGLGuard 제안
- •각 운영자가 자체 데이터로 학습하고 모델 업데이트만 공유해 프라이버시 보장
- •비-IID 클라이언트 대응 근접 목적함수, 도메인 균형 집계, 과잉거부 제약 임계값 보정 결합
- •Agent-SafetyBench·R-Judge·AgentDojo 3개 벤치마크에서 중앙집중식 방식의 상한 성능을 초과
- •AgentDojo 기준 공격 성공률 43% 감소, API 비용 없이 성능 손실도 미미
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning
- 1.FGLGuard 공개, LLM 멀티에이전트 시스템(MAS) 안전장치를 그래프 연합학습으로 프라이버시 보존 구현
- 2.각 운영자가 자체 판정라벨 그래프로 로컬 GNN 학습 후 모델 업데이트만 공유, 원시데이터 비공개
- 3.비독립동일분포 클라이언트용 근접 목적함수와 도메인균형 집계, 과잉거부 임계값 보정 결합
- 4.3개 벤치마크에서 데이터 풀링 없이도 중앙집중식 상한선 능가, AgentDojo 공격성공률 43% 감소
왜 중요한가?
조직 간 민감 대화 데이터를 공유하지 않고도 멀티에이전트 시스템 공격 탐지 성능을 중앙집중 학습 수준으로 끌어올려, 기업 간 협력형 AI 안전장치 구축의 실질적 걸림돌을 해소한다.
LLM 기반 다중 에이전트 시스템(MAS)은 국내 산업 전반에 혁신을 가져올 잠재력이 크지만, 에이전트 간 통신에서 발생하는 프라이버시 및 안전 문제는 해결해야 할 과제입니다. 이 연구는 연합 그래프 학습을 통해 이러한 시스템의 토폴로지를 기반으로 안전을 확보하면서도 개인정보를 보호하는 방안을 제시하여, 한국이 안전하고 신뢰할 수 있는 차세대 AI 시스템을 개발하는 데 중요한 기여를 할 것입니다.
본문 미리보기
arXiv:2609.02967v1 Announce Type: new Abstract: Topology-guided safeguards for LLM-based multi-agent systems (MAS) train a GNN over the inter-agent communication graph to localize risky agents and intervene on the topology---but they assume one operator can pool all labeled traces. Across organizations that assumption breaks: episodes contain private prompts, tool outputs, and proprietary workflows, and no silo alone sees the full attack distribution. We cast privacy-preserving MAS safeguarding
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
