ML 컴파일러 기반인 MLIR은 사전학습 코퍼스에 거의 없고 방언(dialect)마다 파인튜닝하는 것도 비현실적인데, 이 연구는 각 방언의 ODS(Operation Definition Specification)에서 기계적으로 추출한 추론 시점 제약이 그래디언트 학습을 대체할 수 있는지 검증했다. 자연어→MLIR 벤치마크 4종(총 410쌍)을 Apache-2.0으로 공개하고, 연산 시그니처 CFG·타입 격자·SSA 검증기의 3계층 제약 스택을 구축했으며 StableHLO 이식에 새 코드가 필요 없었다. 구조적 제약이 지배하는 방언에서는 1.7B SmolLM2가 linalg에서 verify-valid 80.0%를 기록해 CodeLlama-34B 등 15B~34B 모델을 21~44%p 차이로 이기면서 생성 속도는 8~25배 빨랐다. 스키마 기반 제약 디코딩이 저자원 도메인에서 소형 모델을 대형 모델급으로 끌어올릴 수 있음을 보여준다.
- •ODS 스키마에서 자동 추출한 3계층 제약 스택(연산 시그니처 CFG, 타입 격자, SSA 검증기+5회 재시도 샘플링)으로 파인튜닝 대체
- •자연어→MLIR 벤치마크 4종(410쌍) 및 재현성 Docker 이미지를 Apache-2.0으로 공개
- •linalg에서 SmolLM2-1.7B가 verify-valid 80.0%로 15B~34B 코드 모델을 21~44%p 앞서고 생성 속도는 8~25배
- •arith+func·StableHLO 파라미트릭 과제처럼 속성 값이 중요한 경우는 대형 모델이 여전히 우위임을 명시적으로 보고
- •새 방언(StableHLO) 이식에 제약 계층 코드 추가가 불필요해 확장성 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Cross-Dialect Generalization Without Retraining: Benchmarks and Evaluation of Schema-Derived Constrained Decoding for MLIR
- 1.ODS 스키마에서 기계적으로 도출한 제약 디코딩으로 파인튜닝 없이 NL→MLIR 생성 시도
- 2.3계층 제약 스택(CFG·타입 격자·SSA 검증)으로 StableHLO 이식 시 추가 코드 불필요
- 3.linalg에서 SmolLM2-1.7B가 80% verify-valid 달성, 34B급 코드 LM을 21~44%p 앞서
- 4.3개 방언 410쌍 NL-MLIR 벤치마크 4종을 Apache-2.0으로 공개, 속도는 8~25배
왜 중요한가?
방언(dialect)마다 모델을 파인튜닝하는 방식은 확장 불가능한데, 스키마 유래 추론 시점 제약만으로 1.7B 소형 모델이 구조 제약 지배 방언에서 34B 모델을 이긴다는 결과다. ML 컴파일러 툴체인에 소형 모델 적용 가능성을 연다.
이 연구는 현대 머신러닝 컴파일러 인프라의 핵심인 MLIR(Multi-Level Intermediate Representation) 코드 생성에서 대규모 언어 모델(LLM)의 교차 방언 일반화 능력을 평가합니다. MLIR은 국내 AI 반도체 개발 및 머신러닝 워크로드 최적화에 필수적인 기술이므로, 재훈련 없이 LLM이 MLIR 코드를 생성하고 확장하는 능력은 개발 효율성을 크게 높일 수 있습니다. 이는 국내 AI 하드웨어 및 소프트웨어 스택 개발자들이 새로운 아키텍처나 도메인별 최적화에 LLM을 더욱 신속하게 적용하는 데 중요한 기여를 할 것입니다.
본문 미리보기
arXiv:2607.18254v1 Announce Type: new Abstract: Multi-Level Intermediate Representation (MLIR) underlies modern ML compiler infrastructure (TensorFlow, JAX/StableHLO, PyTorch Inductor, IREE), yet appears only in trace amounts in code-LM pretraining corpora. MLIR is also extensible by design: new dialects ship per application domain, so a fine-tuned model per dialect does not scale. We ask whether inference-time priors derived mechanically from each dialect's Operation Definition Specification (
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

