AIHuggingFace BlogAI 점수 90%
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MPS in PyTorch 2.15 (원문, 새 창)
AI 인사이트
대상 독자:개발자
- PyTorch 2.15, MPS(Mac)에 FP8(float8_e4m3fn) 지원 추가해 BF16 대비 메모리 절반로 축소
- MoE 디코딩 5~6.5배 가속, M3 Ultra에서 Qwen3.6-35B-A3B가 9.4→61.3 tokens/s로 향상
- 소프트맥스 약 8배 가속, Wan2.2 비디오 VAE 디코드 메모리 피크 270GiB→8GiB로 대폭 감소
- 복소수 LU분해·삼각솔브 등 선형대수 연산과 다양한 컨볼루션·패딩 연산도 Metal 커널로 전환
왜 중요한가
맥에서 로컬 LLM·이미지·비디오 모델을 돌리는 성능과 메모리 효율이 크게 개선돼, 애플 실리콘이 로컬 AI 추론 플랫폼으로서 경쟁력을 한층 높인다.
전체 내용이 궁금하다면?
HuggingFace Blog에서 원문을 직접 읽어보세요
공유
- #PyTorch
- #MPS
- #Apple실리콘
- #FP8
이 글이 만들어진 과정
- 10:39AI 초안