이 논문은 배포된 LLM 서비스의 안전장치를 거부율, 공격 성공률, 정책 위반율 같은 지표로만 평가하는 관행을 비판한다. 이러한 수치는 테스트된 요청에 대한 통제 성능만 보여줄 뿐, 계속 적응하거나 다른 우회로를 찾는 공격자에게 서비스가 여전히 얼마나 유해한 도움을 주는지는 답하지 못한다는 것이다. 저자들은 다양한 안전장치 계열의 결과가 실제 배포 관점에서 무엇을 의미하는지 분석했는데, 배포된 서비스에서 유해한 도움을 얻어낸 공격 사례 단 하나만으로도 그런 도움이 여전히 남아 있음을 입증하기에 충분하며 실제로 그런 사례가 기록에서 반복적으로 나타난다. 반대로 '유해한 도움이 거의 남지 않았다'는 주장은 안전장치 자체의 수치만으로는 성립하지 않으며, 안전장치가 국소적으로 작동한 뒤에도 주변 시스템이 여전히 허용하는 것이 무엇인지에 대한 별도 증거가 필요하지만 이런 증거는 극소수의 주장에서만 뒷받침된다.

• •안전장치 평가지표(거부율·공격성공률 등)는 배포 시스템 전체의 안전성을 보장하지 못한다고 지적
• •유해한 도움을 얻어낸 단 하나의 공격 사례만으로도 위험 잔존을 입증하기에 충분
• •'위험이 거의 남지 않았다'는 주장은 안전장치 자체 수치만으로는 성립 불가, 주변 시스템 증거 필요
• •국소적 점수 개선이 공 배포 시스템의 실질적 안전성 향상은 아니라고 결론