CS-Guard는 코드 생성 보안 가드레일을 체계적으로 평가하는 최초의 벤치마크로, 1000개의 악성코드 생성 프롬프트·7가지 탈옥 공격·허구적 소프트웨어 개발 시나리오에 악의를 숨긴 신종 공격(FSA)을 포함한 텍스트-투-코드 평가와, 331개 프롬프트로 구성된 코드-투-코드 평가로 이뤄진다. 7개 LLM에 걸쳐 9개 가드레일을 실증 평가한 결과, 텍스트-투-코드에서는 탈옥 후 평균 공격 성공률이 약 50%에 달했고, 코드-투-코드에서는 기본 LLM 기준 거의 100%, 가드레일 적용 후에도 14.4%~100%로 높게 유지됐다. 특히 FSA는 여러 가드레일에서 성공률이 거의 100%에 이르러 실제 소프트웨어 개발 환경의 신뢰성에 큰 우려를 제기한다.

• •1000개 악성코드 프롬프트·신종 허구 시나리오 공격(FSA)을 포함한 코드 생성 보안 벤치마크 CS-Guard 공개
• •텍스트-투-코드 탈옥 공격 성공률 평균 약 50%, 코드-투-코드는 기본 LLM에서 거의 100%
• •가드레일 적용 후에도 코드-투-코드 공격 성공률이 14.4~100%로 여전히 높음
• •허구 시나리오 기반 FSA 공격이 거의 100% 성공률로 실제 개발 환경 위험을 시사