이 논문은 데이터센터에서 부상 중인 에이전틱 AI의 아키텍처적 함의를 마이크로소프트 애저의 프로덕션 연구와 오픈소스 프레임워크 통제 연구를 통해 처음으로 특성화했다. 에이전틱 실행은 파편화되고 이질적이며, 요청이 CPU-GPU 경계를 반복적으로 넘나드는 LLM 추론·도구 호출·오케스트레이션 결정의 워크플로우로 확장된다. 오케스트레이션과 도구가 호스트에서 실행되어 CPU가 임계 경로에 놓이고, 실행 구조는 평소 낮다가 갑자기 급등하는 부하 패턴을, 모델 구성은 GPU 사용의 불균등성을 만들며, 과제·도구의 다양성이 이 범위를 더 넓힌다. 이는 균일한 기존 서버와의 아키텍처적 불일치를 드러내며, 저자들은 상용 서버 프로토타입 Agora를 통해 유휴 CPU 코어를 동적으로 활용하고 GPU 메모리를 오버서브스크립션하며 역할별 코어 풀링과 친화도 인식 스케줄링을 적용해 활용도와 처리량을 개선하면서 에이전트 지연시간을 보존했다.

• •마이크로소프트 애저 프로덕션 연구와 오픈소스 통제 연구로 에이전트적 AI의 첫 아키텍처 특성화 제시
• •요청이 LLM 추론·도구 호출·오케스트레이션으로 파편화되어 CPU-GPU 경계를 반복적으로 넘나들음
• •오케스트레이션이 호스트에서 실행되어 CPU가 임계경로에 놓이고, 부하는 평소 낮다가 급등하는 패턴
• •균일한 서버와의 아키텍처적 불일치를 확인, 프로토타입 Agora로 개선 방안 검증
• •Agora는 유휴 CPU 동적 활용, GPU 메모리 오버서브스크립션, 역할별 코어 풀링으로 활용도·처리량 개선과 지연시간 보존