이 논문은 데이터와 AI 연산이 물리적으로 분리돼 발생하는 지연·보안·규제 문제를 해결하기 위해, IBM LinuxONE 한 대에서 전체 RAG 파이프라인을 실행하는 6개 서브시스템 아키텍처를 제시한다. 생성형 추론에는 IBM의 Spyre PCIe 가속기 카드를, 경량 분류 작업에는 Telum II 온칩 가속기를, 컨테이너 오케스트레이션에는 레드햇 오픈시프트를 사용해 질의 수집부터 벡터 검색, 프롬프트 조립, 추론, 규정 준수 필터링, 응답 전달까지 모든 과정이 하드웨어 경계를 벗어나지 않도록 설계했다. LinuxONE의 보안 실행(Secure Execution) 기술이 AI 워크로드에까지 기밀 컴퓨팅 보장을 확장하며, 초기 분석 결과 종단간 RAG 지연이 2초 미만으로 클라우드 GPU나 온프레미스 대비 최대 20배 단축됐다. 규제 산업이 요구하는 강력한 암호화와 감사 가능성을 유지하면서도 성능을 확보했다는 점이 특징이다.

• •IBM LinuxONE 한 대에서 전체 RAG 파이프라인을 완결하는 6개 서브시스템 아키텍처 제안
• •Spyre 가속기(생성추론)+Telum II(경량분류)+오픈시프트(오케스트레이션) 조합
• •Secure Execution으로 AI 워크로드까지 기밀컴퓨팅 보장 확장
• •종단간 RAG 지연 2초 미만, 오프플랫폼 대비 최대 20배 단축