Train Qwen3 on AWS Trainium with torchtitan↗ (원문, 새 창)

AWS가 트레이니움(Trainium) 가속기에서 torchtitan을 이용해 Qwen3 모델을 학습하는 세 가지 방법을 소개하는 기술 가이드를 공개했다. 트랜스포머스 v5를 백엔드로 허깅페이스 허브 모델을 그대로 불러와 학습·미세조정하는 방법, torchtitan 자체의 네이티브 Qwen3 구현을 사용하는 방법, 그리고 NKI 기반 혼합전문가(MoE) 커널을 적용하는 방법을 trn2.48xlarge 단일 인스턴스에서 모두 시연했다. 허깅페이스 체크포인트로 미세조정한 결과 1단계 손실값이 사전학습 가중치 기준 6.54, 무작위 초기화 기준 12.43으로 나타났으며, 커스텀 NKI 로터리 임베�딩 커널을 직접 등록해 연결하는 방법도 제시했다. 이는 엔비디아 GPU·CUDA 중심 생태계 밖에서 대규모 언어모델 학습을 수행할 수 있는 실용적 대안을 보여준다.

• 트랜스포머스 v5, torchtitan 네이티브, NKI MoE 커널의 3가지 Qwen3 학습 방식을 단일 trn2.48xlarge에서 시연
• 허깅페이스 발행 가중치 기준 1단계 손실 6.54, 무작위 초기화 기준 12.43 확인
• 오버라이드 레지스트리로 커스텀 NKI 로터리 임베딩 커널을 직접 연결하는 방법 제시
• 엔비디아 GPU·CUDA 의존을 벗어난 대안적 LLM 학습 하드웨어 경로 제공