리퀴드AI가 20일 LLM 추론 병목을 줄이는 추측 디코딩 기술 '디스파크'를 공개했다. 약 3억 개 매개변수의 경량 초안 모델이 토큰을 먼저 생성하면 대형 목표 모델이 이를 한 번에 검증하는 방식으로, 출력 품질을 그대로 유지하면서 GPU에서 최대 3.18배, 온디바이스 환경에서 최대 2.87배 디코딩 처리량을 높였다. LFM2.5 계열 3종 모델에 적용됐으며, 여러 도구를 연속 호출하는 에이전트 시나리오(BFCL 벤치마크)에서는 평균 지연시간을 57% 줄이는 효과를 보였다. 리퀴드AI는 관련 모델을 허깅페이스에 공개하고 llama.cpp·SGLang 등과의 통합도 지원해 실제 배포 환경에서 곧바로 활용할 수 있게 했다.

• •초안 모델(약 3억 매개변수)이 후보 토큰 생성, 목표 모델이 한 번의 순방향 연산으로 검증하는 추측 디코딩 방식
• •GPU에서 최대 3.18배, 온디바이스(M4 Max)에서 최대 2.87배 디코딩 속도 향상
• •함수 호출 벤치마크 BFCL에서 다중 도구 사용 시나리오 평균 지연시간 57% 감소
• •LFM2.5-8B-A1B는 MoE 구조 특성상 엣지 기기에서 개선폭이 18%로 상대적으로 작음
• •허깅페이스에 공개, llama.cpp·SGLang 등 오픈소스 프레임워크와 통합 지원