이 논문은 프론티어 대형추론모델(LRM)의 숨겨진 사고 과정(hidden Chain-of-Thought)이 API 상호작용만으로 거의 그대로 추출될 수 있음을 보인 공격 기법 EchoCoT를 제시한다. 연구진은 툴 호출 사이에서 그동안 간과됐던 '추론 재생' 경로를 발견하고, API가 반환하는 충실도 신호를 반복 활용해 은닉 CoT를 추출하는 다단계 공격을 개발했다. 오픈소스 LRM 3종에서는 최대 66.4%의 거의 완전한 추출 성공률(토큰 길이 오차 10% 이내, 90% 이상 토큰 일치)을 기록했고, 동일한 주입 궤적이 미공개 데이터셋에도 일반화돼 최대 80%까지 성공했다. Gemini-2.5 등 프론티어 비공개 모델에서도 3만2948토큰짜리 CoT 중 3만3463토큰을 추출하는 등 매우 긴 추론 과정까지 재현해, 은닉 CoT 자산이 실질적인 보안 위협에 노출돼 있음을 경고한다.
- •API 상호작용만으로 프론티어 LRM의 숨겨진 사고 과정(CoT)을 거의 그대로 추출하는 EchoCoT 공격 제시
- •툴 호출 사이의 '추론 재생' 경로 활용, 오픈소스 모델에서 최대 66.4% 추출 성공
- •동일 주입 굤적이 미공개 데이터셋에도 일반화돼 최대 80% 성공률 달성
- •Gemini-2.5에서 3만2948토큰짜리 CoT 중 3만3463토큰 추출해 매우 긴 추론도 재현 가능함을 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
- 1.EchoCoT: 도구 호출 사이의 '추론 리플레이' 틈을 이용해 블랙박스 API만으로 숨겨진 CoT를 거의 그대로 추출하는 다단계 공격 개발
- 2.오픈소스 LRM 3종에서 최대 66.4% 근사 추출 성공률, 토큰 90% 이상 정확 일치를 달성
- 3.LLM 기반 최적화로 범용 주입 경로를 찾아내어 미보사 데이터셋에도 일반화되어 최대 80% 성공률 기록
- 4.프론티어 상용 LRM에서도 효과 확인, Gemini-2.5에서 32,948토큰 CoT 중 33,463토큰을 추출
왜 중요한가?
프론티어 모델의 숨겨진 추론 과정(CoT)은 핵심 자산이자 안전장치로 여겨졌는데, API만으로 이를 근사 복제할 수 있음을 실증해 추론 모델 제공사들에 실질적 보안·지적재산 위협을 제기한다.
언급 프로젝트
대규모 추론 모델 내부의 '사고 과정(Chain-of-Thought)'을 추출하는 이 연구는 LLM의 블랙박스 문제를 해결하는 데 중요한 진전을 이룹니다. 국내 AI 연구 및 산업 분야에서 모델 투명성과 설명 가능성은 윤리적 AI 개발과 신뢰 확보를 위한 핵심 과제로, 이 기술은 AI 시스템의 의사결정 과정을 이해하고 검증하는 데 필수적인 기반을 제공할 것입니다.
본문 미리보기
arXiv:2608.20055v1 Announce Type: new Abstract: Hidden chain-of-thought (CoT) traces, especially those from frontier proprietary large reasoning models (LRMs), are valuable model assets. Yet whether these hidden CoTs can be directly extracted from black-box models remains largely unexplored. In this work, we systematically study whether hidden CoTs can be extracted near-verbatim from black-box LRMs through API interactions. We identify a previously overlooked reasoning replay surface between to
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
