MIT, AI 모델끼리 글 없이 소통하는 ‘스웜 텔레파시’ 개발↗ (원문, 새 창)

MIT CSAIL과 MIT-IBM 연구진이 AI 모델 간 내부 계산 정보(KV 캐시)를 직접 전달하는 '스웜 텔레파시(SwaT)' 기술을 공개했다. 서로 다른 기업이 만든 모델 간에도 작동하며, 텍스트 요약을 거치는 기존 방식보다 평균 정확도를 40% 높이고 처리 시간을 4배 단축했다. 송신·수신 모델을 미세조정하지 않고 중간 변환기만 학습시키며, 고유 토큰 약 4400만개와 단일 GPU 하루 미만의 자원으로 구축할 수 있다. 라마, 큐원, 젬마, 그래나이트 등 다양한 모델 조합에서 작동을 확인했고 이미지 이해력이나 중국어 지식을 텍스트 전용 모델에 전달하는 실험도 성공했으나, 모델 조합마다 별도 변환기가 필요해 참여 모델이 늘면 관리가 복잡해지는 한계가 있다.

• MIT CSAIL·MIT-IBM, AI 모델 간 KV캐시 직접 전달하는 '스웜 텔레파시(SwaT)' 공개
• 텍스트 요약 방식보다 평균 정확도 40% 향상, 처리 시간 4배 단축
• 모델 고정한 채 중간 변환기만 학습, 토큰 4400만개·GPU 하루 미만으로 구축 가능
• 라마·큐원·젬마 등 이종 모델 조합에서 작동 확인, 이미지·중국어 지식 전달도 성공
• 모델 조합마다 별도 변환기 필요해 참여 모델 늘수록 구축·관리 복잡해지는 한계