이 논문은 연합학습에서 공유 그래디언트로부터 원본 텍스트를 거의 완벽하게 복원하는 그래디언트 역전 공격의 세 가지 유출 경로를 트랜스포머 구조 분석을 통해 규명했다. 어텐션 출력 투영 그래디언트가 입력 임베딩을 담은 저차원 부분공간을 노출하는 채널1, 임베딩 그래디언트의 행별 희소성이 어떤 토큰이 존재하는지 드러내는 채널2, MLP 확장 그래디언트가 채널1과 유사한 복원 가능 신호를 담는 채널3이다. 연구진은 이 세 채널을 모두 차단하는 경량 방어 기법 AEGIS를 제안했는데, 어텐션 투영 파라미터를 고정해 채널1을 원천 제거하고 임베딩·MLP 그래디언트에 보정된 노이즈를 주입해 채널2·3을 각각 차단한다. 11개 모델과 6개 데이터셋 평가에서 AEGIS는 토큰 복원율을 거의 0으로 낮추면서도 모델 성능을 유지하거나 개선했으며, 메커니즘을 완전히 아는 적응형 공격자에게도 효과가 검증됐다.

• •트랜스포머 그래디언트 역전 공격의 3가지 유출 채널(어텐션 투영·임베딩 희소성·MLP 확장)을 규명
• •경량 방어 기법 AEGIS, 파라미터 고정과 보정 노이즈 주입만으로 아키텍처 변경 없이 3채널 모두 차단
• •11개 모델·6개 데이터셋 평가에서 토큰 복원율을 거의 0으로 낮추면서 모델 성능 유지·개선
• •메커니즘을 아는 적응형 공격자 대상 실험에서도 방어 효과 검증