IoT 기기는 안전한 암호 알고리즘만으로는 부족하며, 물리적 접근이 가능한 공격자가 구현 자체를 직접 공격할 수 있고 배포 후 결함 수정도 어렵다. LLM이 이런 구현을 만들고 분석하는 데 쓰이고 있지만, 기존 암호학·사이버보안 벤치마크는 암호 엔지니어링 영역을 다루지 않았다. 연구팀은 사이드채널, 결함 주입, 구현, 대응책, 평가, 통합 등 6개 하위 영역에 걸쳐 전문가가 작성한 380개 문항으로 구성된 CESBench를 제시했으며, 객관식·판단형·시나리오형·코드형 등 네 가지 문제 유형으로 서로 다른 역량을 측정한다. 11개의 오픈웨이트·독점 LLM을 평가한 결과 종합 점수는 54.4~83.6%였고, 객관식 최고점은 98.6%, 코드 95.1%였지만 판단형은 58.8%에 그쳤다. 특히 88.5%의 모델이 옳은 보안 판정을 내렸음에도 그 근거는 채점 기준의 53.4%만 충족해, 보안 판정을 정당화하는 역량이 가장 취약한 것으로 나타났다.

• •CESBench는 IoT 암호 엔지니어링 보안 6개 하위영역을 다루는 전문가 작성 380개 문항 벤치마크다
• •객관식·판단·시나리오·코드 등 4개 문제 유형으로 서로 다른 역량을 측정하며 코드는 572개 테스트로 채점된다
• •11개 LLM의 종합 점수는 54.4~83.6%로, 객관식은 최대 98.6%까지 도달했다
• •모델의 88.5%가 올바른 보안 판정을 내렸지만 근거 서술은 채점 기준의 53.4%만 충족해 가장 취약한 역량으로 확인됐다