SkyPilot과 Hugging Face가 통합돼 모델·데이터셋은 Hub에 두고 GPU는 어느 클라우드에서든 쓰는 '제로 이그레스' 워크플로가 가능해졌다. store: hf 설정과 hf:// URL, 기존 HF_TOKEN만으로 Hugging Face Bucket(읽기·쓰기)이나 모델·데이터셋 저장소(읽기 전용)를 SkyPilot 작업에 마운트할 수 있고, SkyPilot이 20여 개 클라우드·Kubernetes·온프레미스에서 가용 GPU를 찾아 실행한다. Hugging Face 스토리지는 이그레스 요금이 없어(AWS는 약 $0.09/GB) 어디서 실행하든 데이터 읽기가 무료이며, 스토리지 비용도 $12~18/TB/월로 S3(약 $23/TB+이그레스)보다 저렴하다. Xet 기반 중복 제거로 증분 체크포인트와 모델 변형은 변경된 청크만 전송된다. 데이터 위치 때문에 특정 클라우드에 실행을 묶어두던 관행을 깨는 변화다.
- •store: hf + hf:// URL로 Hugging Face Bucket·모델·데이터셋을 SkyPilot 작업에 마운트(MOUNT/COPY)
- •Hugging Face 스토리지는 이그레스·CDN 요금 없음: 어느 클라우드 GPU에서든 데이터 읽기 무료
- •지연(lazy) 읽기로 실제 사용 바이트만 전송, 모델 로딩 약 30초(최대 ~500MB/s), 체크포인트 쓰기 최대 ~170MB/s
- •Xet 기반 콘텐츠 정의 청크(~64KB) 중복 제거로 증분 체크포인트·모델 변형은 변경 청크만 저장·전송
- •스토리지 비용 $12~18/TB/월로 AWS S3(약 $23/TB+이그레스) 대비 저렴
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
- 1.SkyPilot이 허깅페이스 스토리지를 정식 백엔드로 통합, hf:// URL로 어느 클라우드서든 마운트
- 2.허깅페이스는 이그레스 무료—AWS S3 약 $0.09/GB 전송비 없이 20여개 클라우드에서 데이터 읽기
- 3.Xet 기반 청크 중복제거로 체크포인트·모델 변형은 변경된 청크만 전송
- 4.스토리지 월 $12~18/TB로 S3(약 $23/TB+이그레스)보다 저렴, 지연 읽기로 GPU 유휴 최소화
왜 중요한가?
GPU 확보처와 데이터 위치가 갈라지며 발생하던 크로스클라우드 전송 비용을 제거해, 데이터가 있는 클라우드에 학습을 묶어두던 관행에서 벗어나 가용 GPU가 있는 곳 어디서든 실행하는 멀티클라우드 AI 운영을 현실화한다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 03:38AI 초안

