Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking | AIChainDay

한국어 요약by Claude · 2026. 9. 13.

신경망이 암기 단계를 지나 뒤늦게 일반화로 전환되는 '그로킹' 현상이 언제 일어나는지 정량적으로 규명한 연구다. 연구진은 2계층 MLP를 모듈러 산술 문제에 대해 384가지 설정으로 학습시켜 일반화 시작 시점이 은닉층 크기, 데이터량, 학습률, 가중치감쇠의 거듭제곱 법칙을 따른다는 관계식을 도출했다(결정계수 R²=0.732). 데이터 복잡도가 모델 용량보다 훨씬 지배적인 요인으로, 데이터를 두 배로 늘리면 일반화가 약 4배 빨라지는 반면 폭을 두 배로 늘려도 약 1.2배 개선에 그쳤다. 가중치감쇠가 특정 임계값 이상인 지점에서 그로킹과 비그로킹을 가르는 뚜렷한 상전이 경계도 확인됐다.

•그로킹 발생 시점을 은닉층 크기·데이터량·학습률·가중치감쇠의 거듭제곱 법칙으로 규명(R²=0.732)
•데이터 복잡도가 모델 용량보다 훨씬 지배적인 요인
•데이터 2배 증가 시 일반화 약 4배 가속, 폭 2배 증가는 약 1.2배 효과에 그침
•가중치감쇠 임계값 이상에서 그로킹-비그로킹을 가르는 뚜렷한 상전이 경계 발견

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 12일AI 점수: 85%

Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking

출처:arXiv cs.AI

AI 인사이트

개발자

1.'그로킹(grokking)' 전환 시점을 384개 설정에서 매핑, 먱법칙 스케일링 관계식 도출
2.일반화 개시 시간이 데이터량(D^-2.04)에 가장 크게 좌우되며, 모델 용량(H^-0.27) 영향은 상대적으로 작음
3.데이터를 2배 늘리면 일반화가 약 4배 빨라지지만, 폭을 2배 늘리면 약 1.2배 개선에 그칩
4.가중치 감쇠 λ≥1.0에서 뜻렬한 상전이 경계 확인, 전환 중 가중치 노름이 단조 압축되는 패턴 관찰

왜 중요한가?

암기에서 일반화로의 전환이 모델 크기보다 데이터 복잡도에 더 크게 좌우된다는 정량적 근거를 제시해, 과대적합 신경망의 일반화 시점을 예측·제어할 기반을 마련한다.

본문 미리보기

arXiv:2609.10657v1 Announce Type: new Abstract: Neural networks trained past memorization frequently undergo a delayed transition to generalization, a phenomenon known as grokking. Despite theoretical progress on \emph{why} this transition occurs, the quantitative structure of \emph{when} it occurs in hyperparameter space remains uncharacterized. We map the memorization-to-generalization boundary across 384 configurations of two-hidden-layer MLPs on modular arithmetic, fitting a power-law scali

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기