DecodeShare는 KV 캐시 추론에서 디코드 시점 은닉 상태에 태스크 전반으로 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 이를 제거해 인과적 역할을 검증하는 프로토콜이다. 실험에서 이 공유 부분공간을 교란하면 동일한 개입 예산의 프리필 유래 또는 무작위 부분공간 교란보다 의사결정 성능이 훨씬 크게 저하돼, 디코드 시점의 태스크 일반 구조가 실제로 사용됨을 보였다. 활성화 조향(activation steering)에서 흔한 조향 방향이 이 태스크 일반 디코드 채널과 겹칠 수 있는데, 공유 부분공간을 투영 제거하면 두 성분의 기능적 역할이 분리되고, 조향 벡터를 디코드 시점에 평가하는 것이 프리필 기반 프록시보다 더 신뢰할 수 있는 신호를 준다. 컴팩트하면서도 레버리지가 큰 인과 채널로, 해석가능성과 조향 실무에 시사점이 있다.
- •디코드 시점 은닉 상태에서 태스크 간 공유되는 저차원 부분공간을 식별하는 DecodeShare 프로토콜 제안
- •공유 부분공간 교란 시 프리필·무작위 부분공간 대비 성능 저하가 훨씬 커 인과적 역할 확인
- •흔한 조향(steering) 방향이 태스크 일반 디코드 채널과 겹침—투영 제거로 기능 분리 가능
- •조향 벡터는 프리필 프록시보다 디코드 시점 평가가 더 신뢰적, 코드 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions
- 1.DecodeShare 제안: 디코딩 시점 은닉 상태에서 과제 간 공유되는 저차원 부분공간 식별 프로토콜
- 2.공유 부분공간 제거 시 프리필·무작위 부분공간 제거보다 의사결정 성능이 훨씬 크게 저하됨을 인과적 입증
- 3.활성화 스티어링 방향이 과제 일반 디코드 채널과 중첩될 수 있음을 발견, 투영 제거로 역할 분리
- 4.디코드 시점 스티어링 평가가 프리필 기반 프록시보다 신뢰도 높은 배포 신호 제공
왜 중요한가?
KV 캐시 추론에서 디코딩 시점에 어떤 태스크 일반 구조가 쓰이는지 처음으로 인과적으로 규명한 연구로, 활성화 스티어링 벡터 설계·평가를 프리필이 아닌 디코드 시점 기준으로 바꿔야 한다는 실무적 시사점을 준다.
언급 프로젝트
LLM이 KV-캐시된 추론 과정에서 어떻게 태스크별 결정을 내리는지 분석하는 DecodeShare 프로토콜은 모델의 '블랙박스'를 이해하는 데 중요합니다. 이는 국내 기업들이 LLM 기반 서비스를 도입할 때 모델의 신뢰성을 확보하고 성능을 미세 조정하는 데 필요한 깊이 있는 통찰력을 제공할 것입니다.
본문 미리보기
arXiv:2607.20469v1 Announce Type: new Abstract: Large language models (LLMs) handle many tasks with one set of parameters, but under KV-cached inference it is unclear what task-general structure, if any, is used at decode time rather than during prefill. We propose DecodeShare, a protocol that identifies a low-dimensional subspace consistently shared across tasks in decode-time hidden states, and then tests its causal role by removing that subspace only during decoding. In our experiments, dist
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
