허깅페이스와 리퀴드AI 연구진이 3억5000만 매개변수 모델 LFM2.5-350M을 GRPO(그룹 상대 정책 최적화)로 미세조정해 구조화 출력 성능을 끌어올리는 방법을 공개했다. TRL 라이브러리로 약 500개 샘플, 100스텝만 학습시켜 IFStruct 벤치마크 점수를 22.6%에서 29.7%로 끌어올렸으며, 특히 JSON 형식 정확도는 18.0%에서 31.9%로 크게 개선됐다. LoRA로 전체 파라미터의 약 1.66%(600만 개)만 학습시켰고, JSON 형식 준수·필드 개수 일치·스키마 검증이라는 세 가지 보상 함수를 가중합해 사용했다. 무료 등급 Colab이나 Kaggle GPU에서도 재현 가능한 저비용 절차로, 소형 모델도 과제 특화 강화학습을 거치면 훨씬 큰 모델의 성능에 근접할 수 있음을 보여준다.

• •LFM2.5-350M을 GRPO로 미세조정, IFStruct 벤치마크 22.6%→29.7% 향상
• •JSON 형식 정확도 18.0%→31.9%로 가장 큰 개선폭 기록
• •LoRA로 전체 파라미터의 1.66%(약 600만개)만 학습, 500샘플·100스텝 소규모 학습
• •JSON 형식·필드개수·스키마검증 3종 보상함수 가중합으로 GRPO 학습
• •무료 Colab/Kaggle GPU에서도 재현 가능, 소형 모델의 대형 모델 근접 성능 입증