클라우드 LLM 서비스에 프롬프트를 보낼 때 발생하는 프라이버시 위험을 해결하기 위해, 연구진은 완전동형암호(FHE) 기반으로 Llama-3를 추론하는 오픈소스 시스템 Odin을 공개했다. CKKS 방식에서 암호문 패킹이 선형 레이어 비용과 어텐션·비선형 연산 간 데이터 흐름을 좌우한다는 점에 주목해, Odin은 잔차 연결과 레이어 인터페이스를 통합하는 특징 우선 크로스 레이어 레이아웃과 선형 투영·어텐션용 임시 레이아웃을 도입해 넓은 투영에서 중복 평문 인코딩을 줄이고, QK^T 결과를 Softmax가 바로 소비하도록 하며 비선형 연산에는 미니맥스 다항식 근사를 사용해 다항식 차수와 곱셈 깊이를 낮췄다. Llama-3-8B, 128토큰 입력을 단일 H100 GPU에서 32개 트랜스포머 레이어 전부 평가한 결과 서버 측 종단간 FHE 평가에 366.4초, 최대 메모리 58.9GiB가 소요됐으며, 동일 조건의 THOR 기준선(1651.9초) 대비 4.51배 빨랐다. 최초의 오픈소스 GPU CKKS 기반 Llama-3 종단간 구현이다.

• •클라우드 프럈톤이거또 복호화 없이 추론하는 FHE 기반 Llama-3 오픈소스 시스템 Odin 공개
• •암호문 패김 다익 동량미 데이타 흐마륰지육 후순택 효율화필해 특징 우선 크로스마쒨 용깰륨있었 워늬 므섚
• •QK^T 광데 관이 Softmax가 직접 새 및 미니맥슸 다회 슬 과명심적 깊이 개선
• •H100 당하뉰담 예은 128토큰 입마 종단거 FHE 판가 366.4초, THOR 대민 4.51뱄 가속
• •오픈소스 GPU CKKS 기반 Llama-3 종단거거 시극재 구현