AI2026년 7월 23일AI 점수: 90%
Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX
출처:arXiv cs.AI
✨ AI 인사이트
🧑💻 개발자💼 투자자
- 1.Intel TDX 기밀 인스턴스의 NVIDIA H100에서 기밀 컴퓨팅 LLM 추론 오버헤드 실측
- 2.기밀 모드에서 첫 토큰 지연 Mistral-7B +21.8%, Qwen3-30B-A3B +27.8% 증가
- 3.전역 토큰 처리량은 각각 17.7%·21.1% 하락, 폐루프 실험에선 11.5~20.2% 격차
- 4.큰 모델일수록 기밀 모드에서 포화점에 더 일찍 도달해 용량 계획 시 주의 필요
💡
왜 중요한가?
민감 데이터 처리·모델 자산 보호를 위해 기밀 컴퓨팅이 배포 요건이 되는 추세에서, H100+TDX 조합의 실제 성능 페널티를 정량화한 드문 벤치마크다. 약 20% 처리량 손실과 대형 모델의 조기 포화라는 수치는 기밀 추론 인프라 용량 산정에 바로 쓸 수 있다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.19353v1 Announce Type: new Abstract: Confidential computing is becoming a practical deployment requirement for AI inference workloads that process sensitive inputs or protect proprietary model assets. However, the performance cost of enabling confidential execution for GPU-accelerated large language model serving remains workload dependent and operationally important. This paper presents a benchmark study comparing standard non-confidential execution with confidential computing mode
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
공유:
#기밀컴퓨팅#GPU추론#H100#벤치마크#LLM서빙