"AI 초장문 처리 속도 최대 35배 높인다"…자이프라, 새 어텐션 기술 공개↗ (원문, 새 창)

미국 AI 스타트업 자이프라가 초장문 문맥 처리 속도를 높이는 희소 어텐션 기술 '자이프라 계층적 어텐션(ZHA)'을 아카이브에 공개했다. 문서 전체를 검색하지 않고 정보를 트리 형태로 계층적으로 압축해 관련 영역만 점차 세밀하게 찾아가는 방식으로, 1000만 토큰 문맥에서 일반 어텐션보다 최대 32~35배, 미니맥스의 MSA보다 4.7~5.1배 빠를 것으로 예측됐다. 큐원3.6-35B-A3B 모델에 약 40억 토큰 규모의 증류 학습만으로 적용한 결과 롱벤치v2 정확도는 기존(58%)보다 높은 63.4%를 기록했고 SWE-bench Verified는 동일한 67.4%를 유지했다. 다만 엔비디아 네모트론 3.5 라이트닝에서는 RULER 정확도가 최대 25.3%포인트 하락하는 등 모델별 편차가 있었고, 속도 향상은 아직 실측이 아닌 예측 모델에 기반한 결과다. 긴 문맥 처리의 연산 비용을 낮추려는 경쟁이 치열한 가운데 검색 연산 부담까지 줄인 접근으로 주목된다.

• ZHA, 트리형 계층 압축으로 전체 문서 검색 없이 필요한 부분만 탐색
• 1000만 토큰 기준 일반 어텐션 대비 최대 32~35배, 미니맥스 MSA 대비 4.7~5.1배 빠를 것으로 예측(H100 성능 모델 기반)
• 큐원3.6-35B-A3B 적용 시 롱벤치v2 63.4%(기존 58%↑), SWE-bench Verified 67.4%(동일) 유지
• 추가 학습 파라미터 8만1920개, 약 40억 토큰 증류 학습만으로 적용 가능
• 네모트론 3.5 라이트닝에서는 RULER 정확도 최대 25.3%p 하락, 실제 속도는 아직 미실측