이 논문은 LLM이 C/C++ 코드를 맥락으로 읽을 때, 완성된 코드를 사후에 검사하는 기존 방어와 달리 모델 내부의 은닉 활성화 자체에 이미 취약점 여부에 대한 신호가 담겨 있는지를 검증한다. 연구진은 세 모델 계열의 4개 LLM(Granite-4.1-8B, Qwen3.5-9B, Qwen3.6-27B, Gemma-4-12B)에서 마지막 프리필 토큰 활성화를 추출해 MLP 프로브를 학습시키고, Devign·Big-Vul·Draper VDISC·PrimeVul 등 4개 함수 단위 벤치마크로 평가했다. 프로브는 기본 모델 크기의 0.2% 미만인 1,340만~1,600만 파라미터만으로 평균 F1 41.7%를 달성했으며, Devign에서는 최고 성능 프로브(Qwen3.5-9B, F1 68.8%)가 발표된 파인튜닝 분류기 최신 성능(67.9%)과 맞먹었지만, 더 어렵고 불균형한 벤치마크에서는 여전히 뒤처졌다. 이는 코딩 LLM의 내부 표현 자체가 임의 코드의 취약점 상태에 관한 정보를 담고 있음을 보여주는 초기 증거로, 경량화된 모델 내재형 취약점 탐지 연구의 동기를 제공한다.

• •LLM의 은닉 활성화만으로 C/C++ 코드의 취약점 여부를 판별하는 경량 MLP 프로브를 학습·평가했다.
• •프로브는 기본 모델의 0.2% 미만 크기(1,340만~1,600만 파라미터)로 평균 F1 41.7%를 달성했다.
• •Devign 벤치마크에서 최고 프로브(F1 68.8%)가 기존 파인튜닝 분류기 최신 성능(67.9%)과 맞머졌다.
• •더 어렵고 불균형한 벤치마크(Big-Vul, Draper VDISC, PrimeVul)에서는 여전히 기존 최신 성능에 뒤처졌다.