접근 제어의 근간인 최소 권한(least privilege) 원칙이 에이전틱 AI 시스템에는 불충분하다고 주장하며, 그 일반화로 '최소 자율성(least autonomy)' 이론을 제안한 논문이다. AI 에이전트는 권한을 단순히 보유하는 것이 아니라 워크플로와 시스템 경계를 넘어 권한을 조합·승인·증폭할 수 있다는 점이 핵심 문제의식이다. 이론은 세 축으로 구성된다: 초거리(ultrametric) 트리와 격자값 기밀성·무결성·제어맥락 레이블을 결합해 행동 간 구조적 분리를 측정하는 조합적 폭발 반경 d(a,b), 공유 자원 쓰기-읽기 또는 에이전트 간 통신 조건과 정책 임계값 θ 이상의 영향 잠재력으로 정의되는 방향성 에이전트 영향 그래프 G(θ), 그리고 그래프 도달 가능성 위에서 권한 조합·의사결정 조작·도메인 간 능력 조합을 탐지하는 공모(collusion) 술어다. 에이전트 보안 거버넌스에 형식적 기반을 제공하려는 시도다.
- •에이전트는 권한을 조합·승인·증폭할 수 있어 최소 권한 원칙만으로는 불충분 — '최소 자율성'으로 일반화
- •초거리 트리 + 격자값 기밀성·무결성·제어맥락 레이블로 행동 간 구조적 분리를 측정하는 폭발 반경 d(a,b) 정의
- •정책 임계값 θ 기반 방향성 에이전트 영향 그래프 G(θ)와 카탈로그-반경 프로파일로 감사·보정 지원
- •그래프 도달 가능성 기반 공모 술어로 권한 조합·의사결정 조작·도메인 간 능력 조합 탐지
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
A Theory of Least Autonomy in AI
- 1.'최소 자율성(Least Autonomy)' 이론 제안: 에이전트 AI에서 최소 권한 원칙의 한계를 지적
- 2.에이전트는 권한을 단순 보유가 아니라 워크플로우 간 조합·증폭하므로 새 보안 원칙 필요
- 3.울트라메트릭 트리와 격자 레이블로 '합성 폭발반경' d(a,b)와 에이전트 영향 그래프 정의
- 4.그래프 도달성 기반 공모 술어로 권한 합성·의사결정 조작·교차도메인 능력 조합 탐지
왜 중요한가?
수십 년간 접근제어의 근간이던 최소 권한 원칙이 멀티에이전트 AI 환경에서 무력화될 수 있음을 형식 이론으로 보인 작업이다. 엔터프라이즈에 AI 에이전트를 배치하는 조직의 보안 아키텍처와 에이전트 간 공모 탐지 설계에 직접적 시사점이 있다.
AI 에이전트 시스템에 대한 '최소 자율성' 원칙을 제안하는 이 연구는 한국의 AI 윤리 및 안전성 논의에 중요한 화두를 던집니다. 자율 AI 시스템의 통제 가능성과 안전한 활용을 위한 국내 정책 및 기술 개발 방향 설정에 있어, AI의 자율성을 적정 수준으로 제한하는 방안을 심도 깊게 고민해야 할 시점입니다.
본문 미리보기
arXiv:2607.09744v1 Announce Type: new Abstract: Least privilege, the principle that an identity should hold only the permissions strictly required for its task, has been a foundational primitive of access control for decades. We argue that this principle is insufficient for agentic AI systems, which do not merely hold permissions but can combine, approve, and amplify them across workflows and system boundaries. We propose least autonomy as an appropriate generalization and develop a formal th
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
