이 연구는 보안 전문가들의 합의로 만들어진 'OWASP Top 10 for LLM Applications' 순위가 실제 사고 데이터와 얼마나 일치하는지 검증했다. CVE, GHSA, OSV, AIAAIC에서 수집한 7,714건의 LLM 보안 사고 스냅샷 중 6,639건을 20개 항목 분류체계에 라벨링하고, 분류기의 정밀도·재현율 오차를 보정하는 베이지안 측정오차 모델로 사고 기반 순위를 도출했다. 전문가 투표에 0.75, 데이터에 0.25 가중치를 부여한 결과, 두 순위 간 일치도는 코헨의 카파 약 0.20으로 약한 수준(90% 구간이 0을 포함)에 그쳤다. 그럼에도 전문가 순위 자체는 견고한 것으로 나타났는데, 4개 프론티어 분류기를 사전등록 방식으로 겨룬 결과 어느 것도 사고 발생 빈도 기준선의 균형정확도 0.863을 넘지 못했고, 홀드아웃 검증에서도 기준선의 순위(스피어만 상관계수 0.918)가 유지됐다. 연구진은 이번 분석이 OWASP의 공식 발표가 아닌 워킹그룹 구성원 2인의 탐색적 분석임을 명시했다.

• •OWASP Top 10 전문가 순위와 실제 사고 데이터 기반 순위의 일치도는 코헨의 카파 약 0.20으로 낮음
• •7,714건 사고 스냵샷 중 6,639건을 20개 분류체계로 라벨링, 베이지안 측정오차 모델로 보정
• •프론티어 분류기 4종 모두 사고 빈도 기준선(균형정확도 0.863)을 넘지 못해 전문가 순위의 견고함 확인
• •이 분석은 OWASP 공식 발표가 아닌 워킹그룹 구성원 2인의 탐색적 연구임을 명시