Carlini 등이 2020년 CRYPTO에서 제시한 암호분석적 모델 추출은 주로 조각별 선형(piecewise-linear) 구조를 이용했지만, 트랜스포머의 핵심인 소프트맥스 어텐션은 매끄럽고 시퀀스에 의존하는 비선형성을 가져 기존 기법이 통하지 않았다. 이 논문은 다중 헤드 어텐션 모델에 대한 최초의 추출 공격을 제안하며, 다중 헤드 어텐션의 '추출 가능한 대표형'을 정식화하고 이를 다항시간에 복원하는 알고리즘을 제시한다. 유한정밀도 실험에서 토큰 차원 8, 헤드 6개인 소프트맥스 어텐션 모델의 파라미터를 2^-51 정확도로 성공적으로 추출했으며, 편향항이 있는 ReLU 순방향망에서 기존 추출 알고리즘이 실패하던 한계도 극복했다. 소프트맥스 정규화 자체가 악용 가능한 대수적 구조를 노출한다는 점에서, 암호분석적 추출 공격의 범위를 ReLU 중심 기법 너머로 확장한다.
- •다중 헤드 소프트맥스 어텐션에 대한 최초의 추출 공격 제안
- •다항시간 알고리즘으로 대표형 모델 파라미터 복원
- •헤드 6개·토큰 차원 8 모델에서 2^-51 정확도로 추출 성공
- •편향항 포함 ReLU FFN에서 기존 알고리즘이 실패하던 한계 극복
- •소프트맥스 정규화가 악용 가능한 대수 구조를 노출함을 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Cryptanalytic Extraction of Multi-Head Softmax Attention Models
- 1.멀티헤드 소프트맥스 어텐션 모델에 대한 최초의 암호분석적 파라미터 추출 공격, 다항시간 알고리즘 제시
- 2.토큰 차원 8·6헤드 모델에서 유한정밀도 실험으로 정확도 2^-51까지 파라미터 추출 성공
- 3.편향항 포함 ReLU 피드포워드망에서 기존 단일헤드 추출 알고리즘이 실패하던 한계 극복
- 4.소프트맥스 정규화가 악용 가능한 대수적 구조를 노출함을 입증, 추출 공격을 ReLU 중심 기법 너머로 확장
왜 중요한가?
기존 모델 추출 공격은 ReLU 기반 조각별 선형 구조에 의존했는데, 이 연구는 트랜스포머 핵심인 소프트맥스 어텐션도 블랙박스 쿼리만으로 파라미터 복원이 가능함을 처음 증명해 상용 LLM API의 모델 지식재산 보호에 실질적 위협을 제기한다.
트랜스포머 기반의 거대 언어 모델(LLM)에 대한 투자를 확대하고 있는 국내 AI 기업들에게 이번 연구는 중요한 경고 신호입니다. 모델 파라미터 추출 공격은 한국 기업들의 핵심 AI 자산인 모델 자체의 지적 재산권을 침해하고 악용될 수 있으므로, 이에 대한 보안 대책 마련이 시급합니다.
본문 미리보기
Since the seminal work of Carlini et al. at CRYPTO 2020, cryptanalytic model extraction has shown neural-networks parameters can be recovered from black-box queries. Existing attacks are largely built around piecewise-linear phenomena. Softmax attention, as the key component of the transformer architecture, presents a different extraction landscape: its nonlinearity is smooth and sequence-dependent, which renders the existing piecewise-linear-based method inapplicable. Recent work has investigat
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
