SonicSampler는 LLM 추론의 샘플링 파이프라인 전체를 하나의 배치 커널로 수직 융합한 타일 인지(tile-aware) Triton 커널 모음이다. 문법 제약 디코딩, 반복·빈도·존재 페널티, logit bias, 온도 스케일링, top-k/top-p/min-p 필터링, 투기적 디코딩 검증까지 요청별로 다른 샘플링 동작을 단일 커널에서 지원하면서 CUDA Graph 호환성을 유지한다. 핵심인 계층적 2단계 top-k 알고리즘은 LLM 출력의 저엔트로피 구조를 활용해 기존 대비 최대 10배, 이종 투기적 디코딩 워크로드 전반에서는 최대 16배 속도 향상을 달성했다. 동적 서빙 환경에서 샘플링 단계가 병목이 되던 문제를 해소해 LLM 서빙 효율을 크게 높일 수 있는 시스템 기여다.

• •로짓 처리·토큰 선택·투기적 검증까지 샘플링 파이프라인 전체를 단일 Triton 커널로 수직 융합
• •요청별 이질적 샘플링 설정(문법 제약, 페널티, top-k/p, min-p 등)을 지원하며 CUDA Graph 호환
• •계층적 2단계 top-k 알고리즘이 LLM 출력의 저엔트로피 구조를 활용해 최대 10배 가속
• •이종 투기적 디코딩 워크로드에서 SOTA 대비 최대 16배 속도 향상