허깅페이스 transformers 라이브러리가 llama.cpp의 GGUF 양자화 모델 포맷을 직접 지원하기 시작했다. 사용자는 허브에서 GGUF 체크포인트를 골라 from_pretrained로 불러오기만 하면 익숙한 transformers API로 로컬 추론을 실행할 수 있으며, 초기 지원 대상은 애플 실리콘의 Qwen3.5 아키텍처다. transformers는 llama.cpp의 ggml 커널(양자화, 정규화 융합, 플래시 어텐션, MoE 라우팅용 top-k 등)을 재사용해 llama.cpp에 근접한 성능을 냈으며, 어텐션 마스크 조기 제거와 정지 조건 판정 지연 등 생성 루프 개선도 함께 적용했다. 맥북 프로 M2 Max 벤치마크에서 여러 GGUF 체크포인트에 대해 llama.cpp와 근접한 토큰 생성 속도를 보였다. 다만 현재는 애플 실리콘 MPS 경로에만 지원되고 아키텍처 커버리지는 Qwen3.5/3.8 계열로 제한적이라 향후 확장이 예고됐다.

• •transformers가 GGUF 포맷을 직접 지원, from_pretrained로 로컬 양자화 모델 로드 가능
• •llama.cpp의 ggml 커널(양자화·정규화·어텐션·MoE 라우팅)을 재사용해 성능 확보
• •어텐션 마스크 조기 제거, 정지 조건 지연 판정 등 생성 루프 자체도 개선
• •M2 Max 벤치마크에서 llama.cpp에 근접한 토큰 생성 속도 확인
• •현재는 애플 실리콘 MPS 전용, Qwen3.5/3.8 계열로 아키텍처 커버리지 제한