DecodeShare는 KV 캐시 추론에서 디코드 시점 은닉 상태에 태스크 전반으로 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 이를 제거해 인과적 역할을 검증하는 프로토콜이다. 실험에서 이 공유 부분공간을 교란하면 동일한 개입 예산의 프리필 유래 또는 무작위 부분공간 교란보다 의사결정 성능이 훨씬 크게 저하돼, 디코드 시점의 태스크 일반 구조가 실제로 사용됨을 보였다. 활성화 조향(activation steering)에서 흔한 조향 방향이 이 태스크 일반 디코드 채널과 겹칠 수 있는데, 공유 부분공간을 투영 제거하면 두 성분의 기능적 역할이 분리되고, 조향 벡터를 디코드 시점에 평가하는 것이 프리필 기반 프록시보다 더 신뢰할 수 있는 신호를 준다. 컴팩트하면서도 레버리지가 큰 인과 채널로, 해석가능성과 조향 실무에 시사점이 있다.
- •디코드 시점 은닉 상태에서 태스크 간 공유되는 저차원 부분공간을 식별하는 DecodeShare 프로토콜 제안
- •공유 부분공간 교란 시 프리필·무작위 부분공간 대비 성능 저하가 훨씬 커 인과적 역할 확인
- •흔한 조향(steering) 방향이 태스크 일반 디코드 채널과 겹침—투영 제거로 기능 분리 가능
- •조향 벡터는 프리필 프록시보다 디코드 시점 평가가 더 신뢰적, 코드 공개
DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions
본문 미리보기
arXiv:2607.20469v1 Announce Type: new Abstract: Large language models (LLMs) handle many tasks with one set of parameters, but under KV-cached inference it is unclear what task-general structure, if any, is used at decode time rather than during prefill. We propose DecodeShare, a protocol that identifies a low-dimensional subspace consistently shared across tasks in decode-time hidden states, and then tests its causal role by removing that subspace only during decoding. In our experiments, dist
전체 내용이 궁금하다면?
원문을 직접 읽어보세요