마이애미 스타트업 Subquadratic이 트랜스포머의 '밀집 어텐션(dense attention)'을 '희소 어텐션(sparse attention)'으로 대체한 새 LLM 'SubQ'를 공개하고, 제3자 평가기관 Appen의 독립 벤치마크로 핵심 주장을 뒷받침했다. SubQ는 토큰 간 연산을 동적으로 선별해 연산량을 줄여 속도 테스트에서 FlashAttention 기반 모델보다 56배 빨랐고, LiveCodeBench에서 89.7%로 프론티어급 코딩 성능을 냈다. 최대 1,200만 토큰의 컨텍스트 윈도우(일반 모델은 약 100만)에서 needle-in-a-haystack 검색 98%를 기록했으며, RULER 128 테스트 비용이 Opus 4.6의 2,600달러 대비 8달러에 불과했다. 다만 모델이 아직 널리 공개되지 않았고 중국 Qwen 가중치를 재사용해 학습한 점 때문에 '병목을 완전히 풀었다'는 강한 주장에는 회의론이 남아 있다.

• •Subquadratic은 트랜스포머의 밀집 어텐션 대신 희소 어텐션을 쓰는 LLM 'SubQ'를 내놓고, 어떤 토큰 관계를 곱할지 텍스트마다 동적으로 선별해 연산량(quadratic 확장)을 줄였다고 주장
• •Appen 독립 평가: 속도 테스트에서 FlashAttention 기반 모델 대비 56배 빠름, LiveCodeBench 89.7%로 상위 코딩 모델과 동급
• •최대 1,200만 토큰 컨텍스트(대형 모델 통상 100만)에서 needle-in-a-haystack 검색 98% 달성, 600만·1,200만 토큰 규모에서 장문 검색 성능 유지
• •비용 주장: Nvidia RULER 128 테스트 실행 비용이 Anthropic Opus 4.6는 2,600달러인 반면 SubQ는 8달러
• •SubQ가 처음부터 학습된 것이 아니라 중국 오픈소스 모델 Qwen 가중치로 부트스트랩됐고 일반 공개가 제한적이어서, 'LLM을 완전히 재발명했다'는 주장엔 회의론이 따름