이 연구는 사이버보안 특화 언어모델 MiST(Mid-trained Security Transformer)를 8B·32B 두 규모로 제시한다. 일반 사전학습과 보안 전문 학습 사이에 '중간학습' 단계를 두고, 방대한 원시 도메인 텍스트로 계속 사전학습하는 대신 전문가가 검수한 소규모 시드 코퍼스를 고품질 합성 학습 데이터로 변환해 학습시켰다. 그 결과 MiST는 동급 Qwen 베이스라인 대비 사이버보안 벤치마크 평균 정확도를 8B 모델에서 13.1%p, 32B 모델에서 8.6%p(상대적으로 각각 27.0%, 15.8%) 끌어올렸다. 절제 실험에서는 이런 성능 향상이 중간학습과 지도 미세조정 단계에서 합성 데이터 생성 방식의 조합을 통해 발생함을 확인했으며, MiST가 후속 과제별 미세조정과 강화학습에도 더 강한 초기값을 제공함을 보였다.

• •사이버보안 특화 모델 MiST를 8B·32B 규모로 제시, 사전학습과 도메인 학습 사이에 '중간학습' 단계 도입
• •방대한 원시 텍스트 계속 사전학습 대신 전문가 검수 소규모 시드 코퍼스를 합성 데이터로 확장해 학습
• •동급 Qwen 대비 보안 벤치마크 평균 정확도를 8B는 13.1%p, 32B는 8.6%p 향상(상대 개선 27.0%, 15.8%)
• •절제 실험으로 성능 향상이 중간학습·지도 미세조정 단계의 합성 데이터 조합에서 비롯됨을 확인
• •MiST가 후속 과제별 미세조정과 강화학습에 더 강한 초기화 지점을 제공함을 입증