허깅페이스 연구자가 바이럴을 일으킨 수채화 그림 AI 프로젝트를 TRL과 OpenEnv로 완전히 공개된 파이프라인으로 재현했다. Qwen3.5-35B-A3B 모델을 GRPO로 학습시켜 p5.brush 라이브러리로 수채화를 그리는 자바스크립트 코드를 생성하도록 했으며, 보상은 코드 정상 동작 여부, 길이, Qwen3-VL 기반 쌍대비교 심사, HPSv3 미적 선호 모델을 가중합해 구성했다. 심사 모델 가중치를 달리한 세 차례 학습(judge-led, hps-led, hps-only) 모두 학습이 진행될수록 나쁜 그림 비율이 크게 줄었고, 심사 모델 비중이 클수록 결과물이 더 다양하고 예술적으로 흥미로웠다. 178개의 직접 평가한 참조 그림 풀이 보상 함수의 핵심이며, 학습 데이터·환경·모델을 모두 공개해 다른 주제(동물, 애니메이션)로도 재현 가능함을 보였다.

• •Qwen3.5-35B-A3B를 GRPO로 미세조정, p5.brush로 수채화를 그리는 JS 코드 생성 학습
• •보상 함수: 코드 정상성·길이·Qwen3-VL 쌀대비교 심사·HPSv3 미적 선호도 가중합
• •심사 모델 비중을 달리한 3개 런(judge-led·hps-led·hps-only) 비교, 심사 비중 클수록 다양성 향상
• •178개 수작업 평가 참조 그림 풀이 보상의 핵심, 데이터·환경·모델 전체 오픈소스 공개
• •LoRA target_modules를 all-linear로 바꾸는 등 MoE 모델 학습 트러블슈팅 과정도 상세 공유