프롬프트 주입 방어는 흔히 이진 탐지기로만 평가되지만, 실제 배포된 LLM 애플리케이션은 의심스러운 입력을 허용·차단·에스컬레이션할지 운영적으로 결정해야 한다. 연구팀은 네이티브 확률적 의사결정 모델(Jev), Llama Prompt Guard 2(22M·86M) 두 분류기, LLM 기반 심사자를 직접·간접 프롬프트 주입, 어려운 무해 입력, 난독화, 분포 변화를 포함한 4만7611개 보류 예제로 평가했다. LLM 심사자가 가장 높은 판별력(AUROC 0.897)을 보였고 Jev(0.871), Prompt Guard 2 86M(0.757), 22M(0.714)이 뒤를 이었으나, Jev의 네이티브 확률이 사후 보정된 분류기 점수를 꾸준히 앞서지는 못했고 온도 스케일링은 판별력 없이 보정만 개선했다. 거짓 음성률 1% 목표에서는 모든 평가된 게이트-심사 시스템이 91.8% 이상의 에스컬레이션과 상당한 거짓 양성률을 필요로 해, 확률적 출력만으로는 분포 변화 아래 신뢰할 수 있는 보안 결정을 담보할 수 없음을 보였다.

• •프롬프트 주입 방어를 이진 탐지가 아닌 허용·차단·에스컬레이션 운영 결정 관점에서 4.76만 건 평가
• •LLM 기반 심사자가 가장 높은 판별력(AUROC 0.897), Jev·Prompt Guard 2가 뒤를 이음
• •네이티브 확률 모델이 사후 보정 분류기 점수를 항상 능가하지는 못함을 확인
• •거짓 음성률 1% 목표 달성에는 91.8% 이상 에스컬레이션과 높은 거짓 양성률이 필요