TRL v1.14의 AsyncGRPOTrainer가 이제 LoRA 어댑터만 학습해 vLLM에 동기화하는 기능을 지원하게 되면서, 트레이너와 vLLM 추론 서버를 서로 다른 머신에서 NCCL 없이 운영하는 실전 프로젝트가 소개됐다. 랭크1 어댑터는 수 메가바이트에 불과해 모든 Job에 마운트된 스토리지 버킷을 통해 전달할 수 있고, 각 롤아웃을 해당 KV 캐시 프리픽스를 보유한 복제본으로 라우팅하며 어댑터 갱신을 모든 복제본에 브로드캐스트하는 소형 프록시가 이를 뒷받침한다. Qwen2.5-Math-1.5B 모델로 500스텝 훈련을 5회 실시한 결과, 마이크로배치 패킹·그래디언트 체크포인팅 비활성화·인플라이트 요청 상한 상향 등의 최적화를 거쳐 학습 시간이 3시간 27분에서 53분으로 단축되면서도 보상 곡선은 동일하게 유지됐다. Hugging Face Jobs와 스토리지 버킷만으로 노드 간 공유 파일시스템 없이 비동기 강화학습 인프라를 구성할 수 있음을 실증한 사례로, 소규모 팀도 저비용으로 분산 RL 파이프라인을 구축할 수 있는 실질적 청사진을 제공한다.

• •LoRA 어댑터만 vLLM에 동기화해 NCCL 없이 트레이너와 추론 서버를 별도 머신에서 운영
• •스토리지 버켓을 모든 Job에 마운트해 어댑터 파일을 공유하고 KV 프리픽스 기반으로 롤아웃을 라우팅하는 소형 프록시 구현
• •마이크로배치 패킹·그래디언트 체크포인팅 비활성화·인플라이트 상한 확대로 스텝당 22.9초에서 4.8초로 단축
• •동일 보상 곱선을 유지하면서 500스텝 훈련 시간을 3시간 27분에서 53분으로 3.9배 단축