MathAtlas는 103개 대학원 수준 수학 교재에서 추출한 약 5만 2천 개의 정리·정의·증명을 포함하는 최초의 대규모 야생 자동 형식화 벤치마크다. 약 17만 8천 개의 수학적 의존성 관계 그래프를 포함하여 의존성 인식 자동 형식화 시스템 개발을 지원한다. 강력한 기준 모델도 정리 문장에서 최대 9.8%, 정의에서 16.7%의 정확도만 달성해 매우 어려운 벤치마크임이 확인됐다. 의존성 깊이가 깊을수록 최고 모델도 2.6%까지 성능이 급격히 저하된다.
- •103개 교재에서 추출한 5만 2천여 개 수학 개체와 17만 8천여 개의 의존성 관계로 구성
- •최고 성능 모델도 정리 자동 형식화에서 9.8%의 낮은 정확도만 달성
- •의존성 깊이가 깊을수록 모델 성능이 급격히 저하되어 최대 2.6%까지 떨어짐
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MathAtlas: A Benchmark for Autoformalization in the Wild
- 1.MathAtlas는 103개 대학원 수학 교재에서 추출한 5만 2천 개 정리·정의·증명의 자동형식화 벤치마크
- 2.17만 8천 개 수학적 의존성 관계 그래프를 포함하는 최초의 대규모 의존성 인식 벤치마크
- 3.최고 성능 모델도 정리 진술 9.8%, 정의 16.7%의 낮은 정확도로 극도로 도전적임을 확인
왜 중요한가?
연구 수준 수학의 자동 형식화는 AI의 수학 추론 한계를 명확히 측정하는 새로운 기준을 제시하며, 향후 수학적 AI 발전 방향을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2605.14061v1 Announce Type: new Abstract: Current autoformalization benchmarks are largely focused on olympiad or undergraduate mathematics, while graduate and research-level mathematics remains underexplored. In this paper, we introduce MathAtlas, the first large-scale autoformalization benchmark of in the wild graduate-level mathematics, containing ~52k theorems, definitions, exercises, examples, and proofs extracted from 103 graduate mathematics textbooks. MathAtlas is enriched with a
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
