TorchNeuron: running HF models on AWS Trainium is easier than ever↗ (원문, 새 창)

TorchNeuron은 AWS Trainium용 새로운 네이티브 파이토치 백엔드로, 트랜스포머·디퓨저·커널 라이브러리가 기본 지원하며 이거 모드와 torch.compile, FSDP·TP 같은 파이토치 자체 분산 API를 그대로 쓸 수 있게 한다. 기존에는 PyTorch XLA 기반 torch-neuronx와 복잡한 커스텀 코드를 유지하던 Optimum Neuron을 거쳐야 했지만, TorchNeuron은 Neuron을 다른 가속기처럼 네이티브 디바이스로 노출해 Transformers·Diffusers·Accelerate·PEFT·TRL을 동일한 클래스와 스크립트로 바로 실행할 수 있게 했다. 텍스트 생성에서 상위 100개 많이 쓰이는 모델 아키텍처 중 89%가 기본 지원되는데, 이는 Optimum Neuron v0.4.5의 46%보다 크게 높은 수치다. 2026년 10월 20일부터 pip install torch-neuronx로 설치 가능한 퍼블릭 베타로 제공된다.

• AWS Trainium용 네이티브 파이토치 백엔드로 이거 모드·torch.compile·FSDP/TP 지원
• Transformers·Diffusers·Accelerate·PEFT·TRL을 Neuron 전용 코드 없이 동일 클래스로 실행
• 텍스트생성 상위 100개 모델 중 89% 기본 지원(기존 Optimum Neuron 46%)
• 2026년 10월 20일부터 pip install torch-neuronx로 퍼블릭 베타 제공