함수 호출이 가능한 LLM은 에이전트 AI 시스템의 핵심이 되고 있지만, 강력한 성능을 위해 클라우드 모델로 추론을 몰아주는 방식은 상당한 에너지 소비와 탄소 배출을 유발한다. 이 논문은 엣지-클라우드 3계층 아키텍처에서 함수 호출 쿼리를 분산 처리하는 탄소 인식 라우팅 프레임워크를 제안한다. 통합된 시맨틱-어휘 임베딩 공간에서 작동하는 경량 k-NN 예측기가 각 엣지 계층의 정확도·지연·전력 소비를 추정하고, 이를 실시간 전력망 탄소 집약도와 결합해 처리 가능한 최저 배출 계층으로 쿼리를 라우팅한다. 최신 함수 호출 벤치마크와 여러 LLM 계열에서 평가한 결과, 클라우드 수준의 정확도를 유지하면서도 평균 4배의 운영 탄소 배출 절감을 달성했다.

• •함수 호출 LLM의 클라우드 집중 추론이 유발하는 에너지·탄소 배출 문제를 지적
• •엣지-클라우드 3계층 구조와 경량 k-NN 예측기로 정확도·지연·전력을 사전 추정
• •실시간 전력망 탄소 집약도를 반영해 최저 배출 계층으로 쿼리 라우팅
• •클라우드 수준 정확도를 유지하면서 평균 4배의 탄소 배출 절감 달성