SoK: Private LLM Inference using Approximate Homomorphic Encryption (원문, 새 창)

AI 인사이트

개발자

CKKS 기반 비대화형 프라이빗 LLM 추론 21개 프레임워크를 체계적으로 분류한 SoK 논문
표준 보고를 위한 Private LLM Card System(PLCS)과 모델 보존형 레퍼런스 프레임워크 POLARIS를 오픈소스로 공개
21개 중 모델을 그대로 유지하며 암호화 추론하는 '모델 보존형' 프레임워크는 단 5개뿐
암호화 추론과 평문 추론 사이에 약 4차수(약 1만배)의 처리속도 격차가 실용화의 최대 장벽

왜 중요한가

동형암호 기반 LLM 추론은 프롬프트 전체를 암호화한 채로 처리해 데이터 유출 없이 AI 서비스를 쓸 수 있게 하지만, 현재 기술은 평문 대비 수천 배 느려 사람 대상 실시간 서비스에는 아직 비현실적임을 수치로 보여준다.

언급 프로젝트

POLARIS BERT Llama-3-8B

본문 미리보기

Although recent surveys on privacy-enhancing technologies concluded that FHE cannot feasibly evaluate non-linear activation functions in modern ML architectures, 21 CKKS-based frameworks have since demonstrated end-to-end private inference of LLMs with up to 8B parameters. However, as the field grows rapidly, the literature has become fragmented. Frameworks differ in ciphertext packing layouts, model fidelity, software and hardware stacks, and reported metrics, that hinder direct comparison and

전체 내용이 궁금하다면?

IACR ePrint (암호학)에서 원문을 직접 읽어보세요

원문 보기

#동형암호
#LLM추론
#프라이버시ML
#FHE

이 글이 만들어진 과정

11:34AI 초안

판 이력 전체 보기 →

4건

AI 인사이트

본문 미리보기

이 글이 만들어진 과정

관련 글