Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch↗ (원문, 새 창)

AI 연구기업 i14가 기존 트랜스포머의 키-값(KV) 캐시가 문맥 길이에 따라 계속 커지는 문제를 해결하기 위해 선형 어텐션 기반 모델 '라플라스 3B'를 개발하고, AWS와 협력해 네이티브 파이토치(TorchNeuron Native)로 AWS 트레이니움2에서 학습·서비스했다. 게이트형 선형 어텐션(GLA) 구조를 활용해 시퀀스당 순환 상태를 문맥 길이와 무관하게 29.5MB로 고정시켰으며, trn2.48xlarge 인스턴스 한 대에서 초당 약 12만 토큰의 학습 처리량과 1,280개 동시 시퀀스에서 초당 1만1544개의 출력 토큰 서비스 성능을 기록했다. 뮤온 옵티마이저의 분산 처리를 올투올(all_to_all) 방식으로 재설계해 랭크당 통신량을 24배 줄이고 처리량을 1.63배 높였으며, 디코드 단계를 컴파일해 처리량을 추가로 1.7배 끌어올렸다. 고정된 순환 상태 덕분에 긴 문맥을 다루는 에이전트 시스템에서 메모리 사용량을 예측 가능하게 유지할 수 있다는 점이 핵심 의의로 제시됐다.

• i14, KV솤쉬 증가 부낙 해결 위한 선형 어텐션 모델 '라플라스 3B' 개발, AWS 트리이니움2에서 개발
• 게이트형 선형 어텐션(GLA)로 시퀀스당 순환 상태를 문맥 기엔 관거없이 29.5MB로 고정
• trn2.48xlarge 한 대에서 학습 춘당 약 12만 토큰, 서버 춘당 1,280넥0시시휀에서 열당 1만1544토큰
• 뮤온 옵티마이저 통신을 all_to_all로 재설골해 띨크당 루래 24배 거전, 춘당 1.63배 증가
• 담코넥0 뉨교 컴파일리션 추가 쵘론 1.7배 효과, 고정 상태로 진 문맥에서도 쬓쬓 사용 예측 가능