보안팀과 연구자들은 위협 보고서용 지식그래프 추출 도구를 공개된 트리플-F1 점수만 보고 선택하지만, 그 점수는 예측된 트리플을 정답 주석과 매칭하는 방식에 크게 좌우된다. 연구진은 검토한 12개 시스템 중 명시된 매칭 규칙을 재구현할 수 있었던 것은 단 5개뿐이었다. 동일 문서에 대해 10개 시스템 출력을 8가지 프로토콜로 재채점하자 45개 쌍별 순위 중 11개가 뒤바뀌었고, 하나의 고정된 예측 집합의 F1 점수가 0.16~0.70까지 벌어졌다. GRID의 외부 378개 항목 보정 세트에서는 어떤 기계적 매처도 다중 검토자 판정과 71% 이상 일치하지 못한 반면 LLM 심판은 86%를 달성했다. 추출을 바이트 단위로 고정한 채 검증 계층만 바꿀 수 있는 CTIForge를 구축해 구성요소 효과와 매처 보상 효과를 분리한 결과, 검증은 호스팅된 4개 백본 모두에서 정밀도를 높였지만 오프라인 3개 백본 모두에서는 낮췄으며, 이는 엔티티 유형에 이의를 제기하는 행위가 약 2.8배 증가하는 것과 일치했다.

• •위협 보고서 지식그래프 추출 도구의 공개 F1 점수가 매칭 규칙에 따라 크게 달라짐을 재현성 감사로 입증
• •12개 시스템 중 매칭 규칙 재구현 가능은 5개뿐, 8개 프로토콜 재채점 시 45개 순위 중 11개 역전
• •GRID 외부 378개 보정 세트에서 기계적 매처는 71% 미만 일치, LLM 심판은 86% 일치 달성
• •추출을 고정하고 검증 계층만 바꾸는 CTIForge로 구성요소 효과와 매처 보상 효과를 분리
• •검증 계층이 호스팅 백본에서는 정밀도를 높이고 오프라인 백본에서는 낮추는 상반된 효과 확인