Does Showing Agents the Privilege of Their Tools Reduce Over-Privileged Tool Selection?↗ (원문, 새 창)

이 연구는 여러 도구 중 가장 강력한 것을 선택해 과도한 권한을 행사하는 AI 에이전트의 '과잉 권한 선택' 문제를 해결하기 위해, 각 도구의 권한 등급을 에이전트에게 알려주는 것만으로 효과가 있는지 검증했다. 544개 시나리오로 구성된 ToolPrivBench를 8개 모델에 5가지 조건으로 실험한 결과, 권한 정보를 보여주는 것만으로 과잉 권한 선택률이 최대 19.3%포인트(50%) 감소했으며 무관한 메타데이터는 효과가 없었다. 다만 정보 제공만으로는 표준 도구를 먼저 시도해본 뒤에야 상위 권한으로 넘어가는 지연 효과에 그치는 경우가 많았고, 지시와 정보를 함께 제공했을 때 가장 강한 모델에서는 안전 완료율이 기존 18.8%에서 51.1%까지 상승했다. 이는 모델 재훈련이나 외부 강제 장치 없이도 '권한 가시성'을 추가하는 저비용 방식이 에이전트 안전성을 보완하는 효과적인 수단이 될 수 있음을 시사한다.

• 도구의 권한 등급을 단순히 표시하는 것만으로 AI 에이전트의 과잉 권한 선택이 최대 19.3%포인트 줄었다.
• 544개 시나리오 ToolPrivBench를 8개 모델에 5가지 조건으로 테스트해 효과를 검증했다.
• 지시와 권한 정보를 함께 제공했을 때 최고 성능 모델의 안전 완료율이 18.8%에서 51.1%로 상승했다.
• 무관한 메타데이터는 효과가 없어, 권한 정보 자체가 핵심 변수임이 확인됐다.