DeFAb는 규칙 기반 논리 솔버가 50마이크로초 안에 100% 정확도로 푸는 문제를 최고 프런티어 언어모델은 잘해야 65%, 렌더링 견고 평가(네 표면 표기 중 최악)에서는 23.5%까지 떨어지는 격차를 드러내는 가설적 귀추(defeasible abduction) 벤치마크다. 40년간 공적 자금이 투입된 지식베이스를 형식적으로 근거화된 인스턴스로 변환해, 무관한 기대는 보존하면서 기본값을 무효화해 이상을 설명하는 가설을 구성하게 한다. 모든 가설이 유효 도출·보수성·최소성의 다항시간 검사를 통과해야 하므로, 논리적 엄밀성을 창의성·이론적 추론의 측정 도구로 삼는다. 분류 계층(OpenCyc·YAGO·Wikidata)과 행동 속성 그래프(ConceptNet·UMLS)를 짝지어 18개 출처·33.75M 규칙에서 372,648개 이상 인스턴스를 3단계로 생성했다. 네 프런티어 모델은 가설적 추론을 안정적으로 내재화하지 못했으며(레벨2 7.8~23.5%, CoT 분산 ~36pp), 저자들은 DeFAb-Hard와 Lean4 기반 CONJURE도 공개하고 동일 검증기를 DPO·RLVR/GRPO 보상으로 활용한다.

• •논리 솔버는 <50µs·100% vs 최고 LLM 65%, 렌더링 견고 평가 시 23.5%로 하락
• •지식베이스를 형식 근거 인스턴스로 변환, 다항시간 검증 가능한 가설적 귀추 과제
• •18개 출처·33.75M 규칙에서 372,648개 이상 인스턴스를 3단계로 생성
• •DeFAb-Hard·CONJURE 공개, 동일 검증기를 DPO·RLVR/GRPO 보상으로 활용