NVIDIA가 Nemotron 사전학습용 '태스크 시드 합성 Q&A 생성' 워크플로를 공개했다. lm-eval-harness의 약 70개 공개 태스크(약 700개 서브태스크) 학습 split을 능력 '시드'로 삼아, 표면 형식을 외우게 하는 대신 유사 질문과 추론·지식을 덧붙인 답변 강화 예제를 생성·필터링한다. 핵심은 태스크 패밀리 간 전이학습으로, 과학 QA 시드가 상식 추론을, 논리 추론 시드가 대안 비교 능력을 키우는 식이다. Nemotron-3 Nano에 100B 토큰 연속 학습 실험에서 MMLU-Pro +1.8, 평균 코드 +1.9, 상식 이해 +1.6, GPQA +11.1을 얻었고 평균 수학은 안정적으로 유지됐다. 답변에 맥락·추론을 더한 변형이 라벨만 있는 경우보다 일관되게 높은 성능을 보였다.

• •lm-eval-harness 약 70개 태스크(700개 서브태스크) 학습 split을 시드로 사용, 테스트 데이터는 생성에서 제외
• •수집→정규화→유사 예제 생성→답변 강화→필터링 5단계 파이프라인으로 태스크 구조 예제 생성
• •태스크 패밀리 간 전이학습 관점—넓은 시드 커버리지로 재사용 가능한 추론·지식활용 행동 강화
• •Nemotron-3 Nano 100B 토큰 실험에서 MMLU-Pro +1.8, 코드 +1.9, 상식 +1.6, GPQA +11.1, 수학은 안정 유지
• •답변에 맥락·추론 트레이스를 더한 변형이 라벨만 제공한 경우보다 GPQA·AGIEval 등에서 큰 폭 향상