Akashic은 멀티턴 상호작용과 세션 간 워크플로우로 컨텍스트가 계속 누적되는 LLM 에이전트를 위한 저오버헤드 추론 서비스 시스템이다. 매 요청마다 전체 히스토리를 재생하면 프리필 비용 증가, 컨텍스트 한도 초과, 관련 근거 매몰 문제가 생긴다. 핵심 기술인 MemAttention은 컨텍스트를 한정 크기 청크로 조직하고 청크 간 의미 관계를 모델링해, 전체 히스토리를 반복 재작성하지 않고도 청크 간 근거를 보존한다. 함께 조회될 가능성이 높은 청크를 인접 배치하는 하드웨어-소프트웨어 공동 설계 메모리 배치로 I/O 오버헤드도 줄였다. 4개 워크로드와 3개 모델 크기에서 기존 강력한 메모리 베이스라인 대비 정확도 최대 10.2점, 처리량 최대 1.21배, 지속 가능 요청률 최대 1.88배 개선을 달성했다.

• •컸텍스트를 한정 청크로 나누고 청크 간 의미 관계를 모델링하는 MemAttention 제안
• •전체 히스토리 재작성 없이 청크 간 근거 보존
• •공동 조회 가능성 높은 청크를 인접 배치하는 HW-SW 공동 설계로 I/O 오버헤드 감소
• •4개 워크로드·3개 모델 크기에서 정확도 최대 +10.2점, 처리량 최대 1.21배
• •지속 가능 요청률 최대 1.88배 향상으로 서빙 효율과 품질 동시 개선