MCP(Model Context Protocol) 기반 에이전틱 LLM은 매 턴마다 장황한 도구 스키마를 재인코딩해야 해, 도구 레지스트리가 커질수록 프리필이 첫 토큰 응답시간(TTFT)을 지배한다. Nexus는 라우팅을 스키마 프리필 비용에서 분리하는 것을 핵심으로 한다. INT8 시맨틱 라운드어사이드 버퍼(SLB)와 보정된 교차인코더 마진 게이트로 검색 기반 도구 선택을 하고, 이어붙인 KV 캐시가 아닌 압축된 텍스트 시그니처(중앙값 19토큰) 위에서 인자를 생성한다. 이 경로는 깊이 독립적이어서 레지스트리가 250개 도구로 늘어나도 라우팅 정확도가 약 89%를 유지하며, 전체 스키마 재프리필 대비 첫 인자 토큰 도달이 1.66배 빠르고 메인 컨텍스트 토큰을 약 80% 절약한다. 보조 수단인 컴파일된 스키마 KV 블록 직접 이식은 로터리 위치 임베딩(RoPE) 위상 드리프트로 앵커를 벗어나면 손상되는데, 임계값 P=256을 넘으면 깊이 적응형 재디코딩으로 복구해 출력 충실도를 보장하며 중간 깊이에서 TTFT가 1.1~1.7배 빨라진다.
- •Nexus: INT8 시맨틱 라운드어사이드 버퍼(SLB)+교차인코더 마진 게이트로 도구 라우팅을 스키마 프리필과 분리
- •압축 텍스트 시그니처(중앙값 19토큰) 기반 인자 생성으로 도구 250개까지 라우팅 정확도 약 89% 유지
- •전체 스키마 재프리필 대비 첫 인자 토큰 도달 1.66배 빠르고 메인 컸텍스트 토큰 약 80% 절약
- •보조 수단인 컴파일 스키마 KV 이식은 RoPE 위상 드리프트로 앞커 이탈 시 손상, P=256 초과 시 재디코딩으로 복구
- •출력 충실도 보장(D_KL≈0), 중간 깊이에서 TTFT 1.1~1.7배 향상(Qwen2.5-14B 기준)
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory
- 1.Nexus, MCP 기반 에이전틱 LLM의 매턴 툴 스키마 재인코딩 비용을 줄이려 라우팅과 스키마 프리필 분리
- 2.INT8 룩어사이드 버퍼(SLB)+교차인코더 마진 게이트로 툴 검색, 인자는 압축 텍스트 시그니처(중앙값 19토큰) 기반 생성
- 3.툴 레지스트리 250개로 늘어도 라우팅 정확도 약 89% 유지, 전체 스키마 연결 방식은 컨텍스트 초과
- 4.TTFT를 전체 재프리필 대비 1.66배 단축, 메인 컨텍스트 토큰 약 80% 절감
왜 중요한가?
MCP 툴 레지스트리가 커질수록 매턴 스키마 재인코딩이 지연시간을 지배하는 구조적 병목을, 출력 정확도(top-1 일치)를 훼손하지 않으면서 해소해 대규모 MCP 에이전트 서비스의 응답속도 개선에 직접 적용 가능하다.
언급 프로젝트
본문 미리보기
arXiv:2608.20397v1 Announce Type: new Abstract: Agentic large language models (LLMs) on the Model Context Protocol (MCP) re-encode verbose tool schemas every turn, so prefill - quadratic in sequence length - dominates time-to-first-token (TTFT) as the tool registry grows. Nexus's primary lever is to decouple routing from the schema-prefill cost: an INT8 semantic lookaside buffer (SLB) with a calibrated cross-encoder margin gate selects tools by retrieval, and arguments are generated over a comp
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
