A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning | AIChainDay

한국어 요약by Claude · 2026. 9. 20.

이 연구는 초등 수준 수학 문장제를 잘 풀던 LLM이 문제에 무관한 문장 하나만 추가돼도 정답률이 무너지는 현상을 기계적으로 규명했다. 분석 결과 모델의 내부 계산은 스키마 추상화, 연산 계획, 피연산자 결합, 계산이라는 네 단계 파이프라인으로 순차 진행되며, 각 단계는 레이어의 특정 구간에서 서로 다른 중간 표현을 만들어낸다는 것이 확인됐다. 동일한 분석 틀로 방해 문장에 의한 오류를 추적한 결과, 문제가 되는 지점은 '연산 계획' 단계 하나로 좁혀졌고, 이 단계를 담당하는 특정 어텐션 헤드 집합의 인과적 역할이 양방향 실험으로 검증됐다. 이는 LLM의 수학 문장제 추론 과정과 방해 요소에 취약해지는 원인을 메커니즘 수준에서 설명한 사례에 해당한다.

•LLM의 수학 문장제 풀이를 스키마 추상화·연산 계획·피연산자 결합·계산의 4단계 파이프라인으로 규명
•각 단계가 레이어의 특정 구간에서 별도의 중간 표현을 형성
•무관한 문장(distractor) 삽입 시 오류의 원인을 '연산 계획' 단계 하나로 특정
•해당 단계를 담당하는 어텐션 헤드 집합의 인과적 역할을 양방향 개입 실험으로 검증

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 17일AI 점수: 85%

A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning

출처:arXiv cs.AI

AI 인사이트

개발자

1.LLM의 수학 문장제 풀이를 스키마 추상화·연산 계획·피연산자 결합·계산 4단계로 규명
2.각 단계가 모델 레이어의 특정 구간에서 서로 다른 중간표현을 만든다는 점을 확인
3.무관한 구절 삽입 시 오류 원인을 '연산 계획' 단계 특정 어텐션 헤드로 국소화
4.해당 어텐션 헤드의 인과적 역할을 양방향 개입 실험으로 검증

왜 중요한가?

사소한 무관 정보 하나로 LLM 수학 풀이가 무너지는 현상의 내부 메커니즘을 단계별로 처음 해부해, 향후 견고성 개선이나 오류 진단 도구 설계에 구체적 개입 지점을 제공한다.

본문 미리보기

arXiv:2609.17804v1 Announce Type: new Abstract: Large language models solve grade-school math word problems with high accuracy, yet a single irrelevant clause inserted into the problem can collapse it. We reconcile these observations with a mechanistic account. We show that the model's internal computation decomposes into a four-stage sequential pipeline, Schema Abstraction, Operation Planning, Operand Binding, and Computation, each stage producing a distinct intermediate representation in an i

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기