자율 AI 에이전트의 환각과 부당한 지속 행동을 '무제한 자율성'이라는 아키텍처 취약점으로 재정의하고, 에피스테믹 드리프트 감지·추론 정지·복구·제어 이양의 능력을 갖춘 관리된 자율성(managed autonomy) 이론을 소개한다. SMARt 모델(안정·메타인지·보조·규제 4계층)을 시간 경과 Petri 넷으로 형식화해 에스컬레이션 의무화와 거버넌스 도달 가능성을 이론적으로 보증한다. 헬스케어·로봇 등 도메인별 적응형 트리거 세트로 안전한 운영 범위 확장을 지원한다.
- •환각·지속 행동의 근본 원인을 무제한 자율성이라는 아키텍체 취약점으로 규정한다.
- •SMARt(안정·메타인지·보조·규제) 4계층 모델을 시간 경과 Petri 넷으로 형식화해 에스켈레이션·거버넌스를 이론적으로 보증한다.
- •도메인별 트리거 세트를 적응형으로 설계해 안전한 운영 범위 확장을 허용한다.
- •실패 관리를 자율성 라이프사이클에 내재화해야 신뢰 가능한 AI를 구현할 수 있다고 주장한다.
Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
- 1.무한정 자율성의 아키텍처 취약점을 지적하고 관리된 자율성(managed autonomy) 이론 제안
- 2.SMARt 모델: Stable·Meta-cognitive·Assisted·Regulated 4계층으로 인식론적 표류 감지·제어 이양 설계
- 3.시간 기반 가드 페트리 넷 형식화로 에스컬레이션 강제·무효 출력 제약·거버넌스 도달 가능성 이론 증명
- 4.의료·로봇공학 등 분야별 적응형 트리거 세트 적용으로 안전한 자율 범위 확장 수용
왜 중요한가?
에이전틱 AI의 환각·지속적 오류 행동을 모델·정렬 한계가 아닌 아키텍처 결함(무한 자율성)으로 규정하고, 거버넌스 도달 가능성을 수학적으로 보증하는 4계층 SMARt 프레임워크를 제시한 점이 의미 있다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2605.27628v1 Announce Type: new Abstract: As autonomous and agentic AI systems scale in robotic and human-machine environments, managing hallucination and persistent but unjustified action remains an open challenge. Rather than attributing these failures solely to model or alignment limitations, this paper explores the architectural vulnerability of unbounded autonomy - the presumption that an agent should continue operating regardless of rising uncertainty. It introduces a theory of mana
전체 내용이 궁금하다면?
원문을 직접 읽어보세요