리퀴드 AI, 실시간 추론 엔진 ‘RIPL’ 출시...AI 응답 지연 50ms 미만 겨냥↗ (원문, 새 창)

리퀴드 AI가 검색·결제 등 실시간 업무에 적용 가능한 초저지연 추론 엔진 'RIPL'을 출시했다. 자체 파운데이션 모델 LFM을 실시간 요청 처리 경로에 직접 연결해 응답 완료까지 걸리는 시간을 50밀리초 미만으로 줄이도록 설계했으며, 검색어 재작성이나 사기 탐지처럼 입력은 길어도 출력이 짧은 작업에 최적화됐다. 자체 벤치마크에서 RIPL 기반 모델의 p95 지연 시간이 vLLM 기반 경쟁 모델보다 최대 28.4배 낮았다고 밝혔다. 전자상거래 업체 쇼피파이는 검색 기능 개선에 LFM을 도입해 20밀리초 미만의 추론 시간을 구현했으며, RIPL은 엔비디아 H100·H200·B200 등 GPU 환경에서 기업용 상용 제품으로 제공된다.

• 리퀴드 AI, 실시간 추론 엔진 'RIPL' 출시…응답 완료까지 50ms 미만 목표
• 검색어 재작성·사기 탐지 등 짧은 출력 작업에 최적화, 긴 대화형 챗봇과는 다른 용도
• 자체 벤치마크서 p95 지연 시간이 vLLM 기반 큐원3.5 대비 최대 28.4배 낮음
• 쇼피파이, 검색 기능에 LFM 도입해 20ms 미만 추론 시간 구현, 매개변수 약 50% 절감
• 엔비디아 H100·H200·B200 등 GPU 기반 기업 전용 상용 제품으로 제공