ML 컴파일러 기반인 MLIR은 사전학습 코퍼스에 거의 없고 방언(dialect)마다 파인튜닝하는 것도 비현실적인데, 이 연구는 각 방언의 ODS(Operation Definition Specification)에서 기계적으로 추출한 추론 시점 제약이 그래디언트 학습을 대체할 수 있는지 검증했다. 자연어→MLIR 벤치마크 4종(총 410쌍)을 Apache-2.0으로 공개하고, 연산 시그니처 CFG·타입 격자·SSA 검증기의 3계층 제약 스택을 구축했으며 StableHLO 이식에 새 코드가 필요 없었다. 구조적 제약이 지배하는 방언에서는 1.7B SmolLM2가 linalg에서 verify-valid 80.0%를 기록해 CodeLlama-34B 등 15B~34B 모델을 21~44%p 차이로 이기면서 생성 속도는 8~25배 빨랐다. 스키마 기반 제약 디코딩이 저자원 도메인에서 소형 모델을 대형 모델급으로 끌어올릴 수 있음을 보여준다.
- •ODS 스키마에서 자동 추출한 3계층 제약 스택(연산 시그니처 CFG, 타입 격자, SSA 검증기+5회 재시도 샘플링)으로 파인튜닝 대체
- •자연어→MLIR 벤치마크 4종(410쌍) 및 재현성 Docker 이미지를 Apache-2.0으로 공개
- •linalg에서 SmolLM2-1.7B가 verify-valid 80.0%로 15B~34B 코드 모델을 21~44%p 앞서고 생성 속도는 8~25배
- •arith+func·StableHLO 파라미트릭 과제처럼 속성 값이 중요한 경우는 대형 모델이 여전히 우위임을 명시적으로 보고
- •새 방언(StableHLO) 이식에 제약 계층 코드 추가가 불필요해 확장성 입증
Cross-Dialect Generalization Without Retraining: Benchmarks and Evaluation of Schema-Derived Constrained Decoding for MLIR
본문 미리보기
arXiv:2607.18254v1 Announce Type: new Abstract: Multi-Level Intermediate Representation (MLIR) underlies modern ML compiler infrastructure (TensorFlow, JAX/StableHLO, PyTorch Inductor, IREE), yet appears only in trace amounts in code-LM pretraining corpora. MLIR is also extensible by design: new dialects ship per application domain, so a fine-tuned model per dialect does not scale. We ask whether inference-time priors derived mechanically from each dialect's Operation Definition Specification (
전체 내용이 궁금하다면?
원문을 직접 읽어보세요