배포된 LLM의 치명적 실패 양상은 여러 차원에 걸쳐 나타난다. 안전성 정렬 점수가 99.3에 달하면서도 무해한 질의 세 건 중 한 건을 거부하거나, 모든 역량 지표가 개선되는 동시에 프라이버시 점수가 21점 하락하는 식이다. 안전성·보안·프라이버시를 개별 평가하는 기존 프레임워크로는 이런 패턴을 포착할 수 없다는 문제의식에서, 저자들은 세 축을 상호의존적 속성으로 통합 평가하는 블랙박스 플랫폼 aiXamine을 제시한다. 9개 서비스에 걸쳐 46개 테스트를 자동 레드티밍 파이프라인으로 실행하며, 120개 이상의 LLM에 5,000회 넘는 테스트를 적용한 역대 최대 규모 통합 연구에서 세 가지 현상을 발견했다. 안전 정렬 강화가 과도한 거부를 부르는 '안전세', 프라이버시가 다른 신뢰성 축과 거의 무관하다는 점, 온폴리시 보정 없는 오프폴리시 증류가 견고성을 56.9에서 2.6으로 붕괴시키는 '증류유발 견고성 붕괴' 현상이다.

• •안전 정렬 점수 99.3인데 무해한 질의 3건 중 1건 거부하는 등 안전성·보안·프라이버시 지표가 서로 상충하는 사례 존재
• •aiXamine: 9개 서비스·46개 테스트를 자동 레드팀밍으로 실행하는 통합 블랙박스 평가 플랫폼
• •120개 이상 LLM에 5,000회+ 테스트, 역대 최대 규모 안전·보안·프라이버시 통합 연구
• •'안전세(safety tax)': 정렬 강화가 과도한 거부(over-refusal)를 체계적으로 증가시킴
• •'증류유발 견고성 붕괴': 온폴리시 보정 없는 오프폴리시 증류가 견고성을 56.9→2.6으로 붕괴시킴