건물 자동화 시스템이 Brick, ASHRAE 223P 같은 온톨로지로 구축되는 가운데, 자연어 질문을 SPARQL로 변환하는 모델 학습을 가로막는 대규모 벤치마크 부재를 해결하기 위한 Build2SPARQL을 제시했다. 그래프 탐색 코드로만 SPARQL 질의를 생성·검증해 질의 정확성을 모델 행동과 분리했으며, 201개 건물 지식 그래프에 적용한 결과 6,136개의 실행 가능한 질의와 30,680개의 질문이 생성됐다. 사람 평가에서 의미적 충실도 98.8%, 운용상 타당성 84.0%를 기록했으며, 검색 증강 평가에서 정확한 일치 정확도는 제로샷 0.2~20%에서 3샷 적용 시 56~65%로 크게 상승했다. 건물 운영자가 자연어로 지식 그래프를 질의할 수 있게 하는 실용적 기반을 마련한 것이 핵심 기여다.
- •그래프 탐색 코드로 SPARQL을 생성·검증해 질의 정확성을 LLM 행동과 분리한 벤치마크 구축 파이프라인 제시
- •201개 건물 지식그래프(Brick·ASHRAE 223P)에서 6,136개 SPARQL 질의, 30,680개 질문 생성
- •사람 평가에서 의미적 충실도 98.8%, 운용상 타당성 84.0%로 높은 품질 확인
- •검색 증강 3샷 적용 시 정확한 일치 정확도가 제로샷 0.2~20%에서 56~65%로 크게 개선
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
- 1.Build2SPARQL, 빌딩 지식그래프용 텍스트-투-SPARQL 대규모 벤치마크 공개
- 2.KG 201개(Brick 180·ASHRAE 223P 21) 대상 그래프 순회 코드로 SPARQL 생성·검증, 질의 6136개 확보
- 3.사람 검증 결과 의미 충실도 98.8%, 자연스러움 98.8%, 운영 타당성 84.0%
- 4.오픈웨이트 모델 3종 RAG 평가에서 정확도가 제로샷 0.2~20%→3샷 검색 시 56~65%로 급상승
왜 중요한가?
건물 자동화 시스템을 자연어로 질의하는 에이전트 개발에 필요한 대규모 벤치마크 공백을 채워, Brick·ASHRAE 223P 기반 빌딩 AI 평가의 표준 데이터셋이 될 수 있다.
언급 프로젝트
본문 미리보기
arXiv:2610.00224v1 Announce Type: new Abstract: Building automation systems are increasingly represented as semantic knowledge graphs (KGs) using ontologies such as Brick and ASHRAE 223P, creating a machine-readable substrate for artificial-intelligence applications. One promising application is translating natural-language questions into SPARQL (text-to-SPARQL), which would let building operators query these graphs through language agents, but progress is limited by the scarcity of large natur
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
