Llama-3.1-8B가 순환 개념(예: "8월에서 6개월 후는?")을 추론하는 방식을 분석한 결과, 모델이 개념별 주기를 사용하지 않고 범용 10진법 덧셈 메커니즘을 재사용함을 발견했다. 두 입력의 합을 10진법으로 계산한 후 순환 개념 공간에 매핑하며, 레이어 18 MLP의 단 28개 희소 뉴런(전체 약 0.2%)이 모든 순환 작업에서 재사용된다. 이 연구는 인과적 추상화와 특성 기하학의 상호작용이 언어 모델의 메커니즘적 이해를 심화함을 보여준다.
- •Llama-3.1-8B는 순환 개념에서 개념별 주기를 사용하지 않고 범용 10진법 덧셈 메커니즘을 재사용한다.
- •모델은 10진법 합산 후 순환 개념 공간에 매핑하는 2단계 방식으로 처리한다.
- •레이어 18 MLP에서 전체 약 0.2%인 28개 희소 뉴런이 모든 순환 작업에서 재사용된다.
- •인과적 추상화와 특성 기하학의 상호작용이 언어 모델의 메커니즘적 이해를 심화한다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Arithmetic in the Wild: Llama uses Base-10 Addition to Reason About Cyclic Concepts
- 1.Llama-3.1-8B는 순환 개념(월, 요일 등) 추론 시 모듈러 산술 대신 10진법 덧셈을 재사용
- 2.레이어 18의 MLP 뉴런 28개(약 0.2%)가 Fourier 특성으로 다수 작업에 재활용됨
- 3.표현 구조(순환)와 계산 구조(10진법)가 반드시 일치하지 않음을 인과적으로 규명
왜 중요한가?
LLM 내부의 계산 메커니즘을 해석학적으로 분석해 AI 모델의 일반화 방식과 한계를 이해하는 데 중요한 통찰을 제공함.
언급 프로젝트
본문 미리보기
arXiv:2605.01148v1 Announce Type: new Abstract: Does structure in representations imply structure in computation? We study how Llama-3.1-8B reasons over cyclic concepts (e.g., "what month is six months after August?"). Even though Llama-3.1-8B's representations for these concepts are circularly structured, we find that instead of directly computing modular addition in the period of the cyclic concept (e.g., 12 for months), the model re-uses a generic addition mechanism across tasks that operate
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:12AI 초안
