RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models | AIChainDay

한국어 요약by Claude · 2026. 9. 24.

긴 컨텍스트 LLM 추론에서 프리필 단계의 병목을 줄이기 위해 훈련 없이 적용 가능한 희소 프리필 기법 RBS-Attention이 제안됐다. 블록 중심점만으로 관련성을 판단하면 소수의 핵심 토큰이 희석되는 '평균 희석' 문제가 발생하는데, RBS-Attention은 평균 관련성을 잡는 중심 브랜치와 블록 내 최대 반경 분포로 과소평가 위험 블록을 찾는 구조 브랜치를 결합해 이를 해결한다. H100 GPU에서 Qwen3-30B-A3B-Instruct 모델 기준 128K 컨텍스트에서 단독 프리필 어텐션 20.65배, vLLM 프리필 어텐션 11.92배, 종단 간 첫 토큰 생성 시간 5.97배 속도 향상을 달성했다. 조밀한 Qwen3-32B 모델에서는 RULER 정확도가 88.65로 조밀 어텐션(89.52)에 근접해 속도와 품질을 동시에 확보했다.

•블록 중심점 기반 희소 선택의 '평균 희석' 문제를 두 브랜치 결합으로 해결
•H100·128K 컴텍스트에서 프리필 어텐션 최대 20.65배, 종단 간 TTFT 5.97배 속도 향상
•vLLM 프리필 어텐션도 11.92배 가속
•Qwen3-32B에서 RULER 정확도 88.65로 조밀 어텐션(89.52)에 근접
•훈련 없이 기존 블록 희소 FlashAttention 실행 구조와 호환

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 21일AI 점수: 92%

RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models

출처:arXiv cs.AI

AI 인사이트

개발자

1.RBS-Attention 제안: 블록 중심값의 '평균 희석' 문제를 해결하는 학습 불필요 희소 프리필 기법
2.H100에서 Qwen3-30B-A3B-Instruct-2507-FP8 기준 프리필 어텐션 20.65배, vLLM 11.92배 가속
3.128K 컨텍스트에서 TTFT(첫 토큰 생성 시간) 5.97배 단축, 기존 블록 스파스 FlashAttention과 호환
4.Qwen3-32B 밀집 모델서 RULER 정확도 88.65점으로 밀집 어텐션(89.52점)에 근접한 수준 유지

왜 중요한가?

긴 문맥 처리에서 병목인 프리필 단계를 추가 학습 없이 가속하면서 정확도 손실을 최소화해, 기존 서빙 파이프라인(vLLM 등)에 바로 적용 가능한 실용적 장문 LLM 추론 최적화 기법이다.

언급 프로젝트

Qwen3-30B-A3B-Instruct-2507-FP8 Qwen3-32B vLLM

본문 미리보기

arXiv:2609.20971v1 Announce Type: new Abstract: Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many irrelevant ones. We call this failure mode mean dilution and propose RBS-Attention, a training-free sparse-prefill method with two complementary selection branches. A centroid base

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기