AI 반도체 스타트업 디매트릭스(d-Matrix)가 추론 배포·오케스트레이션 소프트웨어 업체 왈라루(Wallaroo.ai)를 인수했다고 밝혔다. 지난 4월 기가아이오(GigaIO) 인수에 이은 4개월 만의 두 번째 인수다. 디매트릭스의 코르세어(Corsair) 가속기는 GPU를 대체하는 대신 나란히 작동하며, 토큰을 하나씩 생성하는 메모리 집약적 '디코드' 단계를 맡고 GPU는 연산 집약적 '프리필' 단계를 처리하는 방식이다. 이 두 단계를 실제 클러스터에서 나누고 트래픽에 따라 확장하려면 정교한 소프트웨어 계층이 필요한데, 왈라루가 정확히 이 역할을 해왔다. 에이전트형 트래픽의 84%가 약 2000토큰 이하의 짧은 요청인 반면 1% 미만이 12만8000토큰 이상을 차지해 GPU 시간을 독점하는 문제가 있었으며, 캐시 인식 라우팅으로 최악의 경우 첫 토큰 응답 시간을 75% 단축한 사례도 보고됐다. 짐렛 랩스의 실험에서는 코르세어를 활용한 추측적 디코딩으로 종단 간 속도가 2~10배 빨라진 것으로 나타나, 비엔비디아 진영 반도체 업체들 사이에서 '배포 계층까지 함께 파는' 전략이 표준으로 자리잡고 있음을 보여준다.

• •디매트릭스가 AI 추론 배포·오케스트레이션 업체 왕라루를 인수, 4개월 만의 두 번째 인수다.
• •코르세어 가속기는 GPU와 함께 작동하며 메모리 집약적인 '디코드' 단계를 전담한다.
• •에이전트형 요청의 84%는 짧지만(~2000토큰), 1% 미만의 초장문 요청이 GPU 시간을 독점하는 문제가 있다.
• •캐시 인식 라우팅으로 최악의 경우 첫 토큰 응답 시간을 75% 단축한 사례가 보고됐다.
• •짐렛 랩스 실험에서 코르세어 기반 추측적 디코딩으로 종단 속도가 2~10배 향상됐다.