이 연구는 추측 디코딩(speculative decoding)이 드래프트 모델과 타깃 모델의 분포 불일치를 일으켜 드래프트 토큰 수락률을 떨어뜨리는 신종 공격인 Speculative Rejection Attacks(SRA)를 제시한다. 공격자가 제어하는 콘텐츠에 적대적 접미사를 붙여 피해자의 프롬프트에서 추측 디코딩 성능을 저하시키는 두 가지 공격, 타깃 모델의 수락 확률을 이용하는 Speedbump-P와 드래프트-타깃 분포 중첩을 이용하는 Speedbump-D를 각각 최적화했다. 일부 경우 공격은 추측 디코딩을 자기회귀 디코딩보다도 느리게 만들 정도로 성능을 저하시켰으며, 품질 저하를 정규화로 복원할 수는 있지만 그 경우 저하 효과의 대부분을 포기해야 하는 효과성-은밀성 간 트레이드오프가 존재했다. 접미사는 샘플링 하에서도 효과적이고 다른 드래프터나 동일 드래프터를 공유하는 타깃 모델로도 전이돼, 추측 디코딩의 드래프트-타깃 상호작용이 추론 비용을 부풀리는 현실적 공격 표면이 됨을 보였다.
- •뙜론 상은 뾾안전 모델 뫼응 뚜규추식을 뉰어마 나럼하는 Speculative Rejection Attacks(SRA) 제시
- •수륨 확륨 기반 Speedbump-P와 분포 중촩 기반 Speedbump-D 둘 공강을 최적화
- •일물 경우 추처 데코땩이 자기회관 데코땩뿡다 뇔리 만릆 성능 저하
- •매회똘이 다륨 뙜론농·타꽟 모델로 전이넎나 현실적 공개 표안 형성
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Speedbumps: Rejection Attacks on Speculative Decoding
- 1.추측 디코딩을 느리게 만드는 새로운 공격군 Speculative Rejection Attacks(SRA) 제안
- 2.Speedbump-P·Speedbump-D 공격이 적대적 접미사로 드래프트-타겟 모델 불일치를 극대화
- 3.일부 경우 공격으로 추측 디코딩이 오토리그레시브 디코딩보다 더 느려지는 수준까지 저하
- 4.정규화로 품질은 복구되나 저하 효과 대부분 상실, 접미사는 다른 드래프터·타겟 모델에도 전이
왜 중요한가?
추측 디코딩의 드래프트-타겟 상호작용이 비용을 부풀리는 실제 공격 표면이 될 수 있음을 처음으로 보여줘, LLM 서비스 운영자들이 추론 비용 공격에 대한 방어를 고려해야 함을 시사한다.
LLM 추론 속도를 높이는 투기적 디코딩(Speculative Decoding)에 대한 거부 공격(Rejection Attack) 연구는 성능 최적화와 보안 사이의 균형점을 제시합니다. 국내 AI 기업들이 LLM 서비스의 효율성 경쟁을 벌이는 가운데, 이러한 공격 방식에 대한 이해는 고성능 LLM의 안정성과 신뢰성을 확보하는 데 결정적인 역할을 할 것입니다.
본문 미리보기
arXiv:2610.10929v1 Announce Type: new Abstract: Speculative decoding is a popular technique for increasing the speed and reducing the costs of large language model (LLM) inference by verifying multiple draft tokens in a single target-model forward pass. The resulting benefit depends on the ability of the drafter to approximate the target model's distribution. In this work, we study Speculative Rejection Attacks (SRAs), a novel class of attacks that cause draft and target models to disagree more
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안



![[Tech Insight] "AI 해킹, 보안 문제로만 보는 건 위험한 착각"](https://cdn.digitaltoday.co.kr/news/photo/202610/706229_653947_485.jpg)