긴 멀티턴 상호작용에서 LLM이 명령어·페르소나·규칙을 잃는 현상을 어텐션 채널 전환 이론으로 메커니즘적으로 설명합니다. 목표 토큰으로의 어텐션 접근성을 측정하는 GAR(Goal Accessibility Ratio)을 도입하고, 슬라이딩 윈도우 어블레이션과 잔차 스트림 프로브를 결합합니다. 아키텍처마다 어텐션 손실과 잔차 디코딩 가능성의 격차가 실패 생존 여부를 예측하며, 선형 프로브가 AUC 0.99로 잔차 표현에서 에피소드별 회상 결과를 복원할 수 있었습니다.
- •LLM의 멀티턴 명령어 망각을 어텐션 채널 전환 이론으로 메커니즘적으로 설명
- •GAR(목표 접근성 비율)로 생성 토큰의 목표 토큰 어텐션 접근성을 정량화
- •아키텍처마다 어텐션 손실과 잔차 디코딩 가능성의 격차가 실패 생존 여부를 예측
- •선형 프로브가 AUC 0.99로 에피소드별 회상 결과를 잔차 표현에서 복원
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
- 1.LLM은 멀티턴 대화에서 목표 토큰 어텐션 감소로 지시 이행 능력이 저하됨
- 2.GAR(Goal Accessibility Ratio) 지표로 어텐션 채널 전환 시점을 정량 측정
- 3.잔차 스트림에 목표 정보 유지에도 어텐션 소멸 시 행동 실패 모델 존재
- 4.선형 프로브가 잔차 표현에서 에피소드별 회상 결과를 AUC 0.99로 복원
왜 중요한가?
LLM이 긴 대화에서 지시를 잃는 현상의 메커니즘을 최초로 밝혀, 멀티턴 에이전트 신뢰성 향상을 위한 구체적 진단 도구와 이론 틀을 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2605.12922v1 Announce Type: new Abstract: Large language models can follow complex instructions in a single turn, yet over long multi-turn interactions they often lose the thread of instructions, persona, and rules. This degradation has been measured behaviorally but not mechanistically explained. We propose a channel-transition account: goal-defining tokens become less accessible through attention, while goal-related information may persist in residual representations. We introduce the G
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
