Hugging Face가 LoRA를 기본값으로 삼는 관행에 의문을 제기하며, PEFT 라이브러리에 동일 조건 벤치마크를 추가해 여러 PEFT 기법을 객관적으로 비교했다. LoRA는 PEFT 체크포인트의 95~98%를 차지할 만큼 압도적이지만, 수학 추론(MetaMathQA)과 이미지 생성(cat plushy) 벤치마크에서 항상 최선은 아니었다. 수학 과제에서 rs-LoRA는 정확도 53.2%(22.6GB)로 파레토 경계에 있었으나 Lily가 54.9%로 더 높았고, 이미지 생성에서는 OFT가 유사도 0.708·메모리 9.01GB로 LoRA(0.697·9.97GB)를 완전히 앞섰다. 논문 주장만으로는 최적 기법을 가리기 어렵기에, 자신의 데이터로 여러 기법을 직접 비교해보고 LoRA를 자동 선택지로 두지 말라는 것이 핵심이다.

• •Hugging Face Hub 모델카드 표본의 98.4%, 이미지 생성 체크포인트의 95%가 LoRA일 만큼 PEFT 기법 중 점유율이 압도적이다.
• •MetaMathQA 수학 추론 벤치마크에서 rs-LoRA는 53.2% 정확도(22.6GB), BEFT는 20.2GB로 저메모리, Lily는 54.9%로 최고 정확도를 기록해 기법별 트레이드오프가 갈렸다.
• •일반 LoRA는 48.1%/22.5GB에 그쳐 rs-LoRA·LoRA-FA 등 변형을 쓰는 편이 낫다.
• •이미지 생성 과제에서 OFT가 유사도 0.708·메모리 9.01GB로 LoRA(0.697·9.97GB)를 두 지표 모두에서 지배했다.
• •PEFT는 비-LoRA 어댑터를 LoRA로 변환하는 기능을 지원해 vLLM 등 LoRA만 받는 다운스트림 패키지에서도 활용 가능하다.