이 논문은 안전 제약 하에서 협응하는 멀티에이전트 시스템을 위한 계층적 강화학습 프레임워크를 제안한다. 기존에는 학습 기반 방법이 성능은 좋지만 안전을 이론적으로 보장하지 못하고, 제어이론 기반 방법은 안전하나 지나치게 보수적·비효율적이라는 트레이드오프가 있었다. 제안 방법은 하위 수준에서 제약 매니폴드(constraint manifold)를 통해 약한 가정만으로 하드 안전 제약을 강제하고, 상위 수준 정책 학습으로 효과적 협응을 가능하게 한다. 멀티에이전트 환경에서 이론적 안전성을 보장하면서 정상적(stationary) 학습 동역학을 제공해 안정적·효율적 훈련이 가능하다. 실험에서 거의 완벽한 안전율을 유지하며 경쟁력 있는 성능을 냈고, 에이전트·장애물 수 변화에도 잘 일반화됐다.

• •제약 매니폴드로 하위 수준에서 약한 가정만으로 하드 안전 제약 강제
• •상위 수준 정책 학습으로 효과적 멀티에이전트 협응 구현
• •멀티에이전트 환경에서 이론적 안전성 보장 및 정상적 학습 동역학 제공
• •거의 완벽한 안전율을 유지하면서 경쟁력 있는 성능 달성
• •에이전트 수와 장애물 수 변화에 효과적으로 일반화