트랜스포머 구조가 연산량 폭증과 긴 문맥 처리의 한계에 부딪히면서, 이를 대체하려는 스타트업들이 등장하고 있다. Subquadratic은 희소 어텐션 모델 'SubQ'로 주류 LLM과 맞먹는 성능을 주장하고, Manifest AI는 문맥을 요약 형태로 압축하는 '파워 리텐션' 방식의 모델 'Brumby'를 공개했다. Liquid AI는 트랜스포머와 액체신경망을 20대80 비율로 결합한 LFM으로 4배 큰 모델과 맞먹는 성능을 라즈베리파이에서 구현했으며, Inception은 디퓨전 기반 LLM 'Mercury 2'로 GPT-4급 성능을 10배 빠른 속도로 낸다고 주장한다. Pathway는 어텐션 대신 상태공간 구조를 쓴 'Dragon Hatchling'으로 25만 개 스도쿠 문제의 97%를 풀어 트랜스포머가 취약한 추론 영역에서 가능성을 보였다.

• •트랜스포머는 문맥이 길어질수록 연산량이 급증해 LLM 비용·전력 소비의 병목이 되고 있다.
• •Subquadratic의 'SubQ'는 희소 어텐션으로 주류 LLM과 맞먹는 성능을 주장한다.
• •Manifest AI의 '파워 리텐션' 방식은 문맥을 압축 요약해 처리량을 늘린다.
• •Liquid AI는 트랜스포머·액체신경망 혼합 LFM으로 4배 큰 모델급 성능을 소형 기기에서 구현했다.
• •Inception의 디퓨전 LLM 'Mercury 2'는 GPT-4급 성능을 10배 빠르게 난다고 주장한다.