AI 에이전트가 인간의 동적으로 변화하는 규범을 실시간으로 반영해 안전하게 계획을 수립하는 프레임워크를 제안한다. 규범 충돌을 해소하는 가패배 가능 논리(defeasible calculus)와 이를 계획 가드레일로 활용하는 접근법을 도입하며, SocialBot을 통해 자연어 대화 과제에서 이론적 증명과 실험적 검증을 수행했다. 인간-AI 상호작용 환경에서 규범이 빈번히 바뀌는 현실을 처음으로 체계적으로 다뤘다는 점에서 의의가 크다.
- •규범 충돌을 해소하는 가패배 가능 논리(defeasible calculus)를 형식적으로 정의했다.
- •동적으로 변화하는 규범을 에이전트 계획의 가드레일로 실시간 적용하는 메커니즘을 구현했다.
- •SocialBot으로 자연어 대화 과제에서 이론적·실험적 타당성을 검증했다.
Reasoning and Planning with Dynamically Changing Norms
- 1.AI 에이전트가 동적으로 변화하는 규범을 인식하고 계획의 가드레일로 활용하는 방법 제안
- 2.규범 충돌 해소를 위한 defeasible calculus(패배 가능 논리 계산) 형식화 및 이론적 증명
- 3.SocialBot 구현체를 통해 자연어 대화 태스크에서 동적 규범 기반 계획 실증
왜 중요한가?
기존 규범 기반 AI 계획 연구가 정적 규범·에이전트 공동체에 한정됐던 한계를 넘어, 인간-AI 환경에서 실시간으로 변화하는 규범을 반영하는 계획 시스템을 처음 제시한다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2605.27622v1 Announce Type: new Abstract: To safely interact with humans, AI agents must both know our norms and consider them during planning. However, such norm-guided planning has been less explored, only within communities of artificial agents, and has ignored the dynamic nature of norms. This paper instead presents an approach to guiding planning with dynamically changing norms in a human-AI setting. We contribute a defeasible calculus for resolving normative conflicts and an approac
전체 내용이 궁금하다면?
원문을 직접 읽어보세요