이 글은 지도 미세조정(SFT) 데이터 준비의 심화 전략 4가지, 즉 학습 곡선 기반 데이터 준비도 평가, 데이터 부분집합 선택·필터링, 데이터 증강, 데이터 믹싱을 다룬다. 체크포인트별 성능을 평가해 데이터를 두 배로 늘려도 개선폭이 1~2%포인트 미만이면 포화 지점으로 보고 추가 수집보다 부분집합 정제나 실패 사례 타깃 수집이 낫다고 제안한다. '데이터 반복이 스케일링을 이긴다' 연구는 400개 예제를 128 에폭 학습한 모델이 51,200개 예제를 1에폭 학습한 모델보다 AIME·GPQA에서 12~26%포인트 앞섰다고 밝힌다. 데이터 믹싱은 목표 과제 성능을 높이기보다 일반 능력 손실(치명적 망각)을 막는 보험 성격이 강하다고 설명한다.

• •학습 곡선 분석: 체크포인트별 성능을 도식화해 데이터를 두 배로 늘려도 1~2%p 미만 개선이면 포화로 판단
• •AlpaGasus 등 연구는 상위 20% 품질 데이터만 골라 학습하면 전체 데이터셋보다 빠르고 성능도 높다고 보고
• •'데이터 반복이 스케일링을 이긴다': 400개 예제 128에폭 학습이 51,200개 예제 1에폭 학습을 12~26%p 앞섬
• •데이터 믹싱은 목표 과제 성능 향상용이 아니라 일반 능력의 치명적 망각을 막는 보험 성격
• •Qwen2.5-Coder는 코드:텍스트:수학 70:20:10 비율이 코드 100% 학습보다 코딩 벤치마크에서도 더 우수