Spectral-LSH는 프롬프트가 모델에 들어가기 전에 압축하는 학습 불필요 방법으로, 프리필 어텐션의 시퀀스 길이 제곱 비용 문제를 겨냥한다. Krylov 부분공간 방법과 랜덤 피처로 암묵적 어텐션 커널 연산자의 지배 성분을 O(N²) 구체화 없이 근사하고, 어텐션 고유공간에서 SimHash로 유사 토큰을 묶어 인과적 위치를 부여한 매크로 토큰으로 집계한다. Mistral-7B, Qwen2.5-7B/14B를 C4에서 평가한 결과 압축률 4배 이하에서는 가벼운 청킹이 최선이지만 8배 이상에서는 스펙트럴 경로가 품질을 보존하는 상전이가 관찰됐다. 16배 압축에서 Qwen2.5-14B의 PPL 비율을 9.533에서 3.427로 낮췄고, JSON·코드·표 형태 구조화 입력 스트레스 테스트에서도 8배 압축 시 청킹보다 모든 지표가 개선됐다. 장문 프롬프트 추론 비용 절감의 실용적 선택지를 제시한다.

• •Krylov 부분공간+랜덤 피처로 어텐션 커널 지배 성분을 O(N²) 없이 근사하는 학습 불필요 프롬프트 압축
• •어텐션 고유공간에서 SimHash로 유사 토큰을 매크로 토큰으로 집계
• •압축률 상전이 발견: 4배 이하는 청킹 우세, 8배 이상은 스펙트럴 경로가 품질 보존
• •16배 압축에서 Qwen2.5-14B PPL 비율 9.533→3.427, 구조화 입력에서도 청킹 대비 전 지표 개선