T=0으로 디코딩해도 LLM이 동일 입력에 다른 출력을 내는 현상을 'background temperature(T_bg)' 개념으로 형식화. Thinking Machines Lab의 batch-size variation·kernel non-invariance·floating-point non-associativity 같은 구현 레벨 비결정성 원인을 통합. inference environment I가 유발하는 stochastic perturbation을 정의, equivalent temperature T_n(I)로 T_bg를 경험적으로 추정하는 프로토콜 제시. 주요 LLM 제공자 풀에서 파일럿 실험 — reproducibility·평가·배포에 대한 시사점 정리.
- •T=0에서도 발생하는 LLM 출력 비결정성을 background temperature T_bg 개념으로 형식화.
- •구현 레벨 원인(batch-size variation·kernel non-invariance·floating-point non-associativity) 통합.
- •Inference environment I가 유발하는 stochastic perturbation 정의·이론화.
- •Equivalent temperature T_n(I)로 T_bg 경험 추정 프로토콜 제안.
- •주요 LLM 제공자 파일럿 실험 — 평가·배포·재현성 표준 정립에 직접 시사점.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Introducing Background Temperature to Characterise Hidden Randomness in Large Language Models
- 1.온도 T=0 설정에서도 LLM이 동일 입력에 다른 출력을 생성하는 비결정론적 행동을 형식화
- 2.배치 크기 변동, 커널 비불변성, 부동소수점 비결합성 등 구현 수준 비결정론 원인 분석
- 3.배경 온도(T_bg) 개념으로 추론 환경이 유발하는 유효 온도를 정량화하는 경험적 프로토콜 제안
왜 중요한가?
LLM 출력의 재현성 문제를 측정 가능한 개념으로 정립함으로써 평가 신뢰도 향상과 프로덕션 배포의 안정성 분석에 기여한다.
본문 미리보기
arXiv:2604.22411v1 Announce Type: new Abstract: Even when decoding with temperature $T=0$, large language models (LLMs) can produce divergent outputs for identical inputs. Recent work by Thinking Machines Lab highlights implementation-level sources of nondeterminism, including batch-size variation, kernel non-invariance, and floating-point non-associativity. In this short note we formalize this behavior by introducing the notion of \emph{background temperature} $T_{\mathrm{bg}}$, the effective
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:45AI 초안
