AI2026년 7월 23일AI 점수: 95%
Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing
출처:arXiv cs.AI
✨ AI 인사이트
🧑💻 개발자
- 1.학습 불필요 프롬프트 압축 기법 Spectral-LSH 제안, O(N²) 어텐션 계산 없이 동작
- 2.Krylov 부분공간+랜덤 피처로 어텐션 고유공간 근사 후 SimHash로 토큰을 매크로토큰으로 병합
- 3.압축률 4배 이하는 청킹이 유리, 8배 이상에선 스펙트럴 방식이 품질 보존에 우위
- 4.16배 압축 시 Qwen2.5-14B PPL 비율 9.533→3.427로 개선
💡
왜 중요한가?
긴 프롬프트 프리필 비용이 서빙 병목인 상황에서, 모델 수정·재학습 없이 입력 단계에서 압축하는 방식이라 기존 서빙 스택에 바로 붙일 수 있다. 압축률에 따라 청킹과 스펙트럴 방식을 전환하는 적응형 설계로 저·고압축 두 영역을 모두 커버한 점이 실용적이다.
본문 미리보기
arXiv:2607.19368v1 Announce Type: new Abstract: Long-prompt inference remains expensive because prefill attention scales quadratically with sequence length. We propose Spectral-LSH, a training-free prompt compression method that operates before the prompt enters the language model. Spectral-LSH approximates the dominant components of an implicit attention-kernel operator using a Krylov subspace method together with random features, avoiding explicit $O(N^2)$ attention-kernel materialization. It
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#프롬프트압축#LLM추론효율#어텐션최적화#LSH