Does Your Model Run on AWS Trainium? Look It Up↗ (원문, 새 창)

허깅페이스는 Transformers 모델이 AWS Trainium에서 실제로 동작하는지 확인할 수 있는 'torch-neuronx model support' 스페이스를 소개했다. 이 도구는 Hub의 인기 모델이 TorchNeuron 백엔드로 수정 없이 Trainium에서 실행되는지 보여주고, 실행에 쓰인 스크립트도 그대로 제공한다. 각 모델은 32개 토큰을 생성해 단일 코어에서는 CPU 결과와 비교하고 샤딩된 경우에는 판정 모델이 영어 유창성을 확인하는 방식으로 테스트된다. 결과는 공개 Parquet 데이터셋으로 제공되어 pandas로 직접 조회할 수 있으며, PASS 판정은 정확성만 의미하고 처리량을 보장하지는 않는다.

• Hub의 인기 Transformers 모델이 AWS Trainium(torch-neuronx)에서 수정 없이 실행되는지 보여주는 공개 Space 소개
• 테스트는 32개 토큰 생성 후 단일 코어는 CPU 결과와 비교, 샤딩 모델은 판정 모델로 유창성 확인
• 현재 text-generation·image-text-to-text 작업의 모델만 Trainium2 인스턴스에서 테스트
• 결과는 공개 Parquet 데이터셋으로 제공되어 pandas로 직접 질의 가능
• PASS는 정확성만 보장하며 처리량이나 긴 생성 성능은 별도 확인이 필요함을 명시