LLM이 컨텍스트 내 학습을 어떻게 수행하는지, 즉 최근 토큰의 패턴 매칭인지 잠재 구조의 추론인지를 탐구하는 연구다. 두 경쟁하는 그래프 구조 간 무작위 보행 작업으로 LLM 내부 표현을 탐색한 결과, 중간 혼합 비율에서 두 그래프 위상이 직교하는 주요 부분 공간에 동시에 인코딩됨을 PCA로 발견했다. 잔여 스트림 활성화 패칭과 그래프 차이 조정 실험에서 LLM이 진정한 구조 추론과 귀납적 회로를 병렬로 활용하는 이중 메커니즘을 지지하는 인과적 증거를 제시했다.
- •중간 혼합 비율에서 두 그래프 위상이 LLM 내부 표현의 직교하는 주요 부분 공간에 동시 인코딩된다
- •후기 레이어 활성화 패칭이 그래프 선호도를 거의 완전히 이전시켜 구조 신호의 중요성을 입증한다
- •선형 조정 실험이 의도한 방향으로 예측을 변화시켜 구조 표현의 인과적 역할을 확인한다
- •LLM의 컨텍스트 내 학습은 구조 추론과 귀납적 회로가 병렬로 작동하는 이중 메커니즘으로 설명된다
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Belief or Circuitry? Causal Evidence for In-Context Graph Learning
- 1.LLM의 인컨텍스트 학습이 토큰 패턴 매칭과 잠재 구조 추론 두 메커니즘을 병렬 활용함을 확인
- 2.PCA로 중간 혼합 비율에서 두 그래프 토폴로지가 직교 주성분 부공간에 동시 인코딩됨을 발견
- 3.잔차 스트림 활성화 패칭으로 그래프 패밀리 신호의 인과적 역할 확인
왜 중요한가?
LLM 인컨텍스트 학습의 내부 메커니즘을 이중 회로 모델로 규명한 기초 연구로, 모델 해석 가능성과 신뢰성 향상을 위한 기반 지식을 제공한다.
본문 미리보기
arXiv:2605.08405v1 Announce Type: new Abstract: How do LLMs learn in-context? Is it by pattern-matching recent tokens, or by inferring latent structure? We probe this question using a toy graph random-walk across two competing graph structures. This task's answer is, in principle, decidable: either the model tracks global topology, or it copies local transitions. We present two lines of evidence that neither account alone is sufficient. First, reconstructing the internal representation structur
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
