이 논문은 기업용 플랫폼이 대화형 추론 인터페이스로 전환하면서 LLM API의 무상태(stateless) 특성이 만들어내는 아키텍처 공백을 다룬다. 무상태성은 AI 제공업체 입장에서 수평적 확장성을 가능하게 하지만, 클라이언트 애플리케이션이 대화 상태와 시맨틱 메모리 관리를 전적으로 떠안게 만든다. 연구진은 세션 지속성을 추론 엔진에서 분리하는 아키텍처인 '하이드레이션 프록시 패턴'을 제시하며, 이 프레임워크는 다단계의 안전한 시맨틱 그라운딩을 지원하면서도 플랫폼이 대화 데이터에 대한 주권을 유지하도록 보장한다. 이어 주권적 상태 관리와 KV 캐싱 간의 트레이드오프를 해소하기 위한 '컨텍스트 안정화 의무'도 함께 제안한다.

• •LLM API의 무상태 특성이 만드는 아키텍처 공백을 해소하는 '하이드레이션 프록시 패턴'을 제시한다.
• •세션 지속성을 추론 엔진에서 분리해 플랫폼의 대화 데이터 주권을 보장한다.
• •다단계의 안전한 시맨틱 그라운딩을 지원하는 프레임워크로 설계됐다.
• •주권적 상태 관리와 KV 캡싱 간 트레이드오프 해소를 위해 컸텍스트 안정화 의무를 함께 제안한다.