DrawingVQA는 실제 건설 도면에 대한 멀티모달 LLM(MLLM)의 이해력을 평가하는 최초의 벤치마크다. 건설 도면은 추상 기하, 기호 표기, 표 데이터, 주석, 도메인 특화 텍스트가 융합된 고유하게 복잡한 시각-텍스트 영역으로, 자연 이미지나 단순 평면도와 차원이 다르다. 'Issued for Construction' 도면 33장과 전문가가 선별한 QA 92쌍으로 구성되며, 지각적 이해·맥락 해석·도메인 전문가 추론의 3단계 추론 깊이를 다룬다. 건설공학 7개 차원과 MLLM 역량 4개 차원을 교차 분석하는 이중 분류 체계도 처음 제시했다. 최신 MLLM 평가 결과 전문가와의 격차가 상당했고 특히 추론 깊이가 깊을수록 벌어져, 엔지니어링 워크플로에 AI를 접목하려면 도메인 특화 멀티모달 추론이 필요함을 보여준다.
- •실제 시공용(IFC) 도면 33장과 전문가 선별 QA 92쌍으로 구성된 최초의 건설 도면 벤치마크
- •지각·맥락·도메인 전문가 추론의 3단계 깊이로 문제 설계
- •건설공학 7개 차원×MLLM 역량 4개 차원의 이중 분류 평가 체계 최초 제시
- •최신 MLLM도 전문가 대비 격차가 크며 추론 깊이가 깊을수록 확대
DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings
- 1.실제 시공 도면 대상 첫 MLLM 벤치마크 DrawingVQA 공개 — IFC 도면 33장, 전문가 검수 QA 92쌍
- 2.지각 이해·맥락 해석·도메인 전문가 추론의 3단계 추론 깊이로 문항 구성
- 3.건설공학 7개 차원과 MLLM 역량 4개 차원을 함께 분석하는 이중 분류 틀 제시
- 4.최신 MLLM 평가에서 전문가 대비 큰 격차, 특히 높은 추론 깊이에서 두드러짐
왜 중요한가?
기하·기호·표·주석이 섞인 시공 도면은 자연 이미지와 전혀 다른 시각-텍스트 도메인인데, 건설 워크플로와 AI 역량을 직접 매핑한 첫 벤치마크라 건설·엔지니어링 AI 제품의 현실적 성능 한계를 가늠하는 기준이 된다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.15418v1 Announce Type: new Abstract: We introduce DrawingVQA, the first benchmark designed to evaluate multimodal large language models (MLLMs) on real-world construction drawings -- a core media in architecture, civil, and many other engineering practices. Unlike natural images or schematic floor plans, construction drawings fuse abstract geometry, symbolic notation, tabular data, annotations, and domain-specific text, forming a uniquely complex visual-textual domain core to enginee
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
