AWS는 양자화된 결정 모델을 CPU·GPU에서 서빙할 수 있는 llama.cpp 기반 딥러닝 컨테이너(DLC)를 아마존 세이지메이커 AI에 배포하는 방법을 소개했다. 표준 경로는 OpenAI 호환 챗 컴플리션 API를 제공하고, 'SemIf'(옛 OpenJev)로 확장하면 답변 토큰을 생성하지 않고 지정된 선택지들에 대한 확률값만 반환하는 구조화된 의사결정이 가능하다. 231개 JevBench 과제로 벤치마크한 결과 GPU 엔드포인트(ml.g6e.xlarge)가 CPU(ml.c6i.8xlarge) 대비 p50 기준 4.9배, p95 기준 32.2배 빨랐으며, 정확도는 두 환경 모두 약 77~78% 수준이었다. 라우팅, 우선순위 분류, 정책 판단처럼 정해진 선택지 중에서 점수를 매겨야 하는 애플리케이션에 적합한 패턴으로 소개됐다.

• •AWS, llama.cpp DLC로 세이지메이커 AI에서 양자화 결정 모델 서빙하는 방법 공개
• •SemIf 확장은 답변 생성 없이 선택지별 확률·로짃을 직접 반환
• •231개 JevBench 과제 벤치마크, GPU가 CPU 대비 p50 4.9배·p95 32.2배 빠름
• •정확도는 CPU 77.5%, GPU 77.9%로 유사한 수준 유지
• •라우팅·우선순위 분류·정책 판단 등 고정 선택지 기반 의사결정에 적합