AWS가 아마존 EKS에서 PyTorch FSDP 대규모 분산학습의 장애 복구와 체크포인트 병목을 해결하기 위해 NVIDIA Resiliency Extension(NVRx)을 통합하는 방법을 소개했다. 기존 동기식 체크포인트는 저장 시 전체 랭크가 블로킹되며 전체 학습시간의 최대 40%를 소모했지만, 비동기 체크포인트(TorchAsyncCheckpoint)를 적용하면 2~8노드(H100 16~64장) 규모에서 99% 이상의 학습 효율을 유지했다. 프로세스 내 재시작(in-process restart)은 소프트 장애를 약 10초 만에 복구했고, ft_launcher를 이용한 잡 내 재시작은 SIGKILL·OOM 등 하드 장애를 17초 만에 복구했다. 반면 쿠버네티스 기본 재시작 방식은 NCCL 타임아웃 연쇄로 장애당 270초가 걸리고 학습 굿풋이 11.5%에 그쳐, NVRx 적용이 대규모 GPU 클러스터의 가동률을 크게 높이는 것으로 나타났다.

• •NVRx 비동기 체크포인트, 2~8노드(H100 16~64장) 규모에서 99% 이상 학습 효율 유지(동기식은 57~61%)
• •프로세스 내 재시작(in-process restart)은 소프트 장애를 약 10초 만에, 컨테이너 재시작 없이 복구
• •ft_launcher 잡 내 재시작은 SIGKILL·OOM 등 하드 장애를 17초 만에 복구
• •기본 쿠버네티스 재시작은 NCCL 타임아웃 연쇄으로 장애당 270초 소요, 학습 굗풋 11.5%에 불과
• •pip 설치만으로 기존 FSDP 코드에 적용 가능, 모델·학습 코드 수정 불필요