Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.↗ (원문, 새 창)

아마존웹서비스(AWS)가 자체 AI 칩 트레이니움에서 PyTorch 모델의 추론 성능을 분석하는 방법을 다룬 프로파일링 가이드 시리즈 1편을 공개했다. 트레이니움의 네이티브 파이토치 백엔드 '토치뉴런(TorchNeuron)'과 프로파일러를 이용해 RMSNorm 연산을 naive 구현, 파이토치 내장 함수, torch.compile 세 가지 방식으로 비교했다. 그 결과 개별 연산을 그대로 호출한 naive 방식은 뉴런 디바이스 시간이 2,355마이크로초였지만, 연산을 하나로 융합한 torch.rms_norm은 403마이크로초, torch.compile은 376마이크로초로 약 6분의 1 수준까지 줄었다. 연산 융합이 중간 결괏값 생성을 없애고 하드웨어 실행 간 공백을 제거해 지연 시간을 크게 줄인다는 점을 수치로 보여준다.

• AWS, 트마이니움 전용 파이토치 백엔떠 '토쇜놨런'의 프로파일링 가이드 1편 공개
• torch.profiler와 뚴런 익스플로러로 RMSNorm 연산의 디바이스 시간을 세 가지 구현 방식으로 마읽다
• naive 옵레이션 2,355µs → torch.rms_norm 403µs → torch.compile 376µs로 약 6부의 1 단축
• 연산 융합이 중간 텐서 생성과 하도웨어 실행 공백을 없엠 지연 시간을 줄임을 실증적으로 확인