Multiverse Computing 연구진이 대형 LLM을 소형 학생 모델로 압축하는 지식 증류(knowledge distillation) 비용을 낮추는 두 가지 시스템 기법을 제시했다. 교사 모델의 top-100 로짓을 미리 캐싱해 학습 중 교사 모델을 메모리에 함께 올릴 필요를 없애고, 전체 어휘×시퀀스 크기의 행렬을 만들지 않는 융합형 청크 단위 KL손실 함수를 도입했다. Llama 3.1 8B를 3.2B로 증류한 실험에서 32K 토큰 기준 피크 메모리가 85.2GiB에서 5.45GiB로 15.6배 줄었고, GPT-OSS 20B 증류는 GPU 4개 노드에서 1개로 축소되며 스텝 시간이 5배 빨라졌다. 대규모 증류 실험을 단일 GPU에서도 가능하게 함으로써 오픈소스 LLM 압축 연구의 진입장벽을 크게 낮췄다.

• •교사 모델의 top-100 로짓을 오프라인 캐싱해 학습 중 교사 모델을 메모리에 유지할 필요를 없앴다.
• •전체 어휘×시퀀스 행렬을 만들지 않는 융합형 청크 KL손실을 새로 고안했다.
• •32K 토큰 기준 피크 메모리가 85.2GiB에서 5.45GiB로 15.6배 감소했다.
• •GPT-OSS 20B 증류가 GPU 4노드에서 1노드로 축소되며 스텝 시간이 5배 빨라졌다.
• •코드는 GitHub(Full-Chunked-KL-Loss)에 오픈소스로 공개됐다.