학습된 심사자(judge) 대신 생성된 게임 프로젝트가 헤드리스 엔진에서 정상 구동되는지 검사하는 조작 불가능한 결정적 필터(strict-launch)를 게이트로 쓰면, 거부 샘플링 자기증류가 새로운 게임 계열로의 일반화를 누적적으로 향상시킨다는 연구다. GameCraft-Bench(자연어 브리프→Godot 프로젝트)에서 Qwen3-14B+LoRA를 3라운드 증류한 결과, 미학습 4개 게임 계열의 클린 생성률이 8.8%에서 42.2%로, best-of-K 커버리지가 18/25에서 25/25(골드 상한)로 올랐다. 같은 양의 골드 데이터를 복제한 대조군은 오히려 기본 모델보다 퇴보(5.6%)했고, 통과율 99.9%의 느슨한 BUILD 검사로 필터만 바꾸면 이득이 완전히 사라져 향상의 원천이 검증기의 정밀도임을 입증했다. '검증기가 곧 커리큘럼'이라는 교훈은 검증 가능한 신호 기반 포스트트레이닝 설계 전반에 시사점을 준다.
- •헤드리스 엔진 정상 구동 여부(strict-launch)라는 판사 없는 결정적·조작 불가능 필터로 거부 샘플링 자기증류 수행
- •Qwen3-14B+LoRA 3라운드 증류로 미학습 게임 계열 클린 생성률 8.8%→42.2%, best-of-K 커버리지 18/25→25/25 달성
- •골드 데이터 복제 대조군은 기본 모델보다 퇴보(5.6% vs 8.8%) — 데이터 양 추가만으로는 효과 없음
- •필터를 통과율 99.9%의 느슨한 BUILD 검사로 바꾸면 이득이 완전히 소멸 — 검증기 정밀도가 학습의 핵심 변수
The Verifier is the Curriculum: Execution-Gated Self-Distillation for Cross-Family Game Generation
본문 미리보기
arXiv:2607.09709v1 Announce Type: new Abstract: Post-training a code generator against a learned judge can optimize proxy features that raise the score without improving the artifact. We study the opposite signal: a deterministic, judge-free, ungameable filter -- whether a generated project launches cleanly under a headless engine (strict-launch). Under this gate, rejection-sampling self-distillation compounds out-of-family generalization. On GameCraft-Bench (mapping a natural-language brief to
전체 내용이 궁금하다면?
원문을 직접 읽어보세요