자연어 요구사항을 RDF 지식그래프 검증 언어인 SHACL로 변환하는 과제(NL2SHACL)를 위한 전용 벤치마크가 없다는 문제를 겨냥해 연구진이 'NL2SHACL-Bench'를 공개했다. SHACL 형태(shape) 작성에는 전문 기술이 필요해 대부분의 도메인 전문가가 다루기 어려웠고, 의미적으로 동등한 형태라도 직렬화나 구조가 달라질 수 있어 단순 문자열 비교로는 평가가 불가능했다는 점도 이 벤치마크의 출발점이다. 연구진은 이 벤치마크로 4개의 최신 대형언어모델을 평가한 결과, 현재 LLM들이 문법적으로 유효한 SHACL은 잘 생성하지만 복잡한 논리·구조 패턴에서는 의미적으로 동등한 제약 조건을 만드는 데 여전히 어려움을 겪는 것으로 나타났다. 이는 NL2SHACL 분야의 발전을 측정할 유의미한 기준을 제공한다는 의의를 갖는다.

• •자연어→SHACL 변환(NL2SHACL) 전용 벤치마크의 부재를 겨냥해 개발됨
• •문자열 비교가 아닌 의미적 동등성 기반 평가 방법을 함께 제시
• •4개 최신 LLM 평가 결과 문법적 타당성은 높지만 복잡한 논리·구조 패턴에서 의미적 정확도 부족
• •도메인 전문가의 SHACL 작성 진입장벽을 낮추기 위한 LLM 활용 가능성을 검증하는 기반 제공