분산 추론에서 MapReduce의 reduce 단계를 통계역학의 분배함수(partition function) 계산으로 해석하는 이론을 제시한다. 국소 점근 정규성(LAN) 하에서 워커가 크기 n의 데이터 청크에 대해 내놓는 신뢰 밀도는 역온도 β=n인 깁스-볼츠만 측도 exp{-βE(θ)}이며, 서로 겹치지 않는 청크들은 독립적인 볼츠만 인자를 이룬다. 그 결과 reduce는 분배함수 Z=∫∏h_k dθ가 되고 최빈값은 정밀도(역분산) 가중 풀링과 일치하며, 빈도주의적 일치성은 T=1/n→0의 영온도 극한으로 나타난다. 이 결과는 가우시안/선형 사례에서 정확히, 그 외에는 1차 근사로 성립해 포크 가능한 샌드박스 환경의 분산 추론에 통계물리적 기반을 제공한다.
- •LAN 하에서 워커의 신뢰 밀도는 표본 크기 n을 역온도로 갖는 깁스-볼츠만 측도 exp{-βE(θ)}, β=n으로 표현됨
- •서로 겹치지 않는 청크는 독립 볼츠만 인자를 가져 MapReduce의 reduce가 분배함수 Z=∫∏h_k dθ 계산이 됨
- •분배함수의 최빈값은 정밀도(역분산) 가중 풀링과 일치
- •빈도주의 일치성은 T=1/n→0의 영온도 극한으로 해석되며, 가우시안/선형에서는 정확하고 일반적으로는 1차 근사로 성립
Boltzmann MapReduce: A Partition-Function Reduce for Forkable Sandboxes
본문 미리보기
arXiv:2607.09689v1 Announce Type: new Abstract: To leading order under local asymptotic normality (LAN), the confidence density a worker emits over a chunk of size $n$ is a Gibbs--Boltzmann measure $\exp\{-\beta E(\theta)\}$ whose inverse temperature is the sample size, $\beta=n$. Three consequences are exact in the Gaussian/linear case and first-order otherwise: disjoint chunks carry independent Boltzmann factors, so the MapReduce \emph{reduce}, read literally, is a partition function $Z=\int\
전체 내용이 궁금하다면?
원문을 직접 읽어보세요