QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training | AIChainDay

한국어 요약by Claude · 2026. 9. 20.

엣지 AI·온디바이스 배포처럼 토큰 예산이 엄격히 제한된 환경에서는 교육·STEM 특화 언어모델을 위한 고품질 사전학습 데이터가 핵심 병목이지만, 공개 생태계에는 소형 모델에 토큰당 높은 학습 가치를 제공하는 STEM 중심 합성 데이터셋이 부족하다. 이 논문은 19개 도메인과 여러 난이도·교육 스타일을 아우르는 1914.3억 토큰 규모의 STEM 특화 다중 도메인 합성 코퍼스 QVAC Genesis III를 소개한다. 약한 엣지급 학생 모델을 신호로 삼아 목표형 교사 증류를 수행하는 이중 생성 전략을 사용해, 학생 모델의 오답은 교정 설명으로, 정답은 모든 선택지에 대한 대조적 추론으로 확장한다. 17억 파라미터 모델로 처음부터 학습한 통제 실험에서 QVAC Genesis III로 학습한 모델은 오픈소스 Cosmopedia-v2 및 공개된 Cosmo-1B 대비 ARC, GPQA Diamond, MMLU STEM에서 일관되게 우수했으며, ARC-E에서 최대 28.57%포인트, ARC-C에서 21.35%포인트 향상과 함께 유효 답안률 최대 99.45%를 달성했다.

•19개 도메인, 1914.3억 토큰 규모의 STEM 특화 합성 사전학습 코퍼스 QVAC Genesis III 공개
•약한 학생 모델의 오답·정답을 각각 교정 설명·대조적 추론으로 변환하는 이중 생성 전략 사용
•17억 파라미터 모델 통제 실험에서 ARC-E 최대 +28.57%p, ARC-C +21.35%p 향상
•최종 답 추출과 유효성을 함께 추적하는 LLM 파서 평가 프로토콜도 함께 제시

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 18일AI 점수: 80%

QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training

출처:arXiv cs.AI

AI 인사이트

개발자

1.온디바이스 STEM 특화 오픈 합성 코퍼스 'QVAC Genesis III' 공개, 1914억 토큰·19개 도메인
2.약한 엣지급 학생모델 오답은 교정설명으로, 정답은 대조적 추론으로 바꾸는 이중 생성전략
3.1.7B 모델 처음부터 학습 시 Cosmopedia-v2·Cosmo-1B 대비 ARC·GPQA·MMLU STEM 전반 우위
4.ARC-E 최대 28.57%p·ARC-C 21.35%p 향상, 유효답변률(VAR) 최대 99.45% 달성

왜 중요한가?

온디바이스 소형 모델은 토큰 예산이 빠듯해 고품질 사전학습 데이터가 병목인데, 학생모델의 실패를 학습 신호로 재활용해 공개 STEM 코퍼스의 학습 효율을 끌어올려 엣지 AI 생태계에 실질적 자원을 제공한다.

언급 프로젝트

QVAC Genesis III Cosmopedia-v2 Cosmo-1B

본문 미리보기

arXiv:2609.19513v1 Announce Type: new Abstract: High-quality pre-training data is a critical bottleneck for educational and STEM-specific language models targeting edge AI and on-device deployment where token budgets are tightly constrained. While major organizations train ever-larger models on private corpora, the open ecosystem lacks STEM-focused synthetic datasets that deliver high per-token learning value efficiently for small models. To address this gap, we introduce QVAC Genesis III, a 19

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기