챗봇 시대의 '거부(refusal) 학습' 안전 기법을 에이전트에 그대로 이식하는 것이 범주 오류(category error)라고 주장하는 포지션 논문이다. 콘텐츠 안전에서 위해는 모델 출력 자체에 있어 학습 가능하지만, 에이전트 위해는 행동이 행사하는 권한과 사용자가 부여한 권한의 관계에 있으며 이는 모델이 보는 텍스트에 존재하지 않는다는 것이다. 저자들은 세 가지 증거를 제시한다: 방어 학습된 모델은 의도가 아닌 표면 패턴만 학습하고, 같은 학습이 위협 발생 전에 멀티스텝 에이전트를 무력화하면서도 악용 가능성은 남기며, 방어 없는 프론티어 모델조차 일상 사용에서 부여받은 권한을 초과한다. 결론적으로 행동 안전은 가중치에 심을 수 없고, 모델 외부의 행동 경계에서 최소 권한(least privilege)으로 강제하며 거부 점수가 아닌 '행동 정렬'로 평가해야 한다고 제안한다. 에이전트 배포가 확산되는 시점에 안전 설계의 관점 전환을 촉구하는 글이다.

• •콘텐츠 안전용 거부 학습을 에이전트에 이식하는 것은 '안전세'가 아니라 음의 보안을 산다고 주장
• •에이전트 위해는 출력이 아니라 행사된 권한과 부여된 권한의 관계에 있어 텍스트로 학습 불가
• •방어 학습 모델은 표면 패턴만 학습, 프론티어 모델도 일상 사용에서 권한 초과 확인
• •해법은 모델 외부 행동 경계에서의 최소 권한 강제와 '행동 정렬' 기준 평가