엔비디아가 여러 AI 모델을 오가는 장시간 에이전트 작업에서 모델 전환 시 발생하는 재계산 부담, 이른바 '라우팅 병목'을 줄이는 '크로스 모델 KV 캐시 전송' 기술을 아카이브(arXiv)를 통해 공개했다. 헤드별 릿지 회귀라는 간단한 선형 변환으로 한 모델의 KV 캐시를 다른 모델이 바로 쓸 수 있는 형태로 바꾸는 방식으로, 큐원3·라마3.1·미스트랄3 등 3개 모델 계열 6개 조합에서 실험한 결과 문맥을 처음부터 다시 처리했을 때 대비 정확도를 73~98%까지 유지하면서 속도는 2.7배에서 최대 25배 빨라졌다. 큐원3 14B와 32B 실험에서는 여러 레이어 정보를 함께 활용했을 때 키(Key) 정보 변화량의 79%, 값(Value) 정보 변화량의 65%까지 설명할 수 있었다. 일부 미스트랄3 조합에서는 단순 선형 방식의 정확도가 크게 떨어졌지만, 비선형 MLP를 적용해 정확도를 최대 37%포인트까지 끌어올렸다.

• •엔비디아, 모델간 KV캐시 변환으로 재계산 없이 이어받는 기술 공개
• •헤드별 릿지회귀로 큐원3·라마3.1·미스트랠3 6개 조합서 검증
• •정확도 73~98% 유지하며 속도 2.7~25배 향상
• •일부 조합은 비선형 MLP 적용해 정확도 최대 37%p 개선