이 논문은 서버가 암호화된 사용자 프롬프트에서 직접 언어모델을 구동할 수 있게 하는 완전동형암호(FHE) 추론이 지나치게 느린 문제를 다룬다. 암호문은 덧셈·곱셈·회전 연산만 지원하고 곱셈은 제한된 깊이까지만 누적할 수 있어, 비선형 함수를 반복 근사할 때마다 비용이 큰 부트스트래핑이 필요해지는데 기존 방식은 모델 전체에 반복 횟수를 균일하게 고정해왔다. 연구진은 비선형 연산별 반복 횟수를 학습 가능하게 만들어 모델 가중치와 함께 공동 적응시키는 HEAT(Homomorphic Encryption-Aware Training)를 제안한다. HEAT는 과제 목표에 맞춰 반복 횟수를 최적화해 재설계나 처음부터의 재학습 없이도 추론 시 근사 오차에 적응한다. 암호화된 GPT-2 디코딩 실험에서 반복 횟수를 3.1배, 부트스트랩을 1.6배, 종단간 지연을 1.4배 줄이면서도 기준선 대비 디코딩 일치율은 오히려 개선됐다.

• •HEAT는 완전동형암호 추론에서 비선형 연산별 반복 횟수를 학습 가능하게 만들어 모델과 공동 적응시키는 미세조정 기법이다.
• •기존 방식은 반복 횟수를 모델 전체에 균일하게 고정해 비용이 큰 부트스트래핑을 유발했다.
• •HEAT는 과제 목표에 맞춰 반복 횟수를 최적화해 재학습 없이 추론 시 근사 오차에 적응한다.
• •암호화된 GPT-2 디코딩에서 반복 횟수 3.1배, 부트스트랩 1.6배, 종단간 지연 1.4배를 줄였다.
• •속도 개선과 동시에 기준선보다 디코딩 일치율도 향상되었다.