이 글은 LLM 추론에서 동기식 배치 처리가 CPU와 GPU를 번갈아 유휴 상태로 두어 전체 시간의 약 24%를 낭비한다는 문제를 다룬다. 이를 해결하기 위해 CUDA 스트림과 이벤트를 활용한 비동기 배치 처리 방식을 소개한다. 입력 전송(H2D), 연산(compute), 출력 전송(D2H) 세 스트림을 분리하고 더블 버퍼링으로 데이터 경쟁을 방지한다. 배치 N의 출력 토큰을 배치 N+1의 입력에 연결하는 '캐리오버' 메커니즘으로 CPU와 GPU가 동시에 작업할 수 있도록 한다. 8B 모델 실험에서 GPU 활용률이 76%에서 99.4%로 향상되고 생성 속도가 22% 빨라졌다.

• •동기식 배치에서 CPU와 GPU가 번갈아 유휴 상태로 대기해 전체 생성 시간의 약 24%가 낭비된다.
• •CUDA 스트림(H2D, compute, D2H)과 이벤트를 조합해 CPU·GPU의 병렬 실행을 구현한다.
• •더블 버퍼링 슬롯으로 GPU가 배치 N을 처리하는 동안 CPU가 배치 N+1을 준비해 데이터 경쟁을 방지한다.
• •배치 N의 출력 토큰을 배치 N+1 입력에 반영하는 캐리오버 마스크로 정확도 손실 없이 비동기 파이프라인을 완성한다.
• •8B 모델·배치 크기 32 실험에서 GPU 활용률 99.4%, 생성 시간 22% 단축이라는 성능 향상을 달성했다.