이 논문은 대형 언어 모델의 아키텍처만으로 결정되는 정확도 상한인 '결정론적 지평선(Deterministic Horizon)'을 수학적으로 증명한다. 12개 트랜스포머 아키텍처에서 지평선은 19~31 사이로 측정되며, 이 한계를 넘으면 어떠한 훈련도 4%p 이상의 정확도를 회복하지 못한다. 이와 함께 16개의 불가능성-명세 쌍을 도출해 선호 학습의 표본 복잡도 불연속 증가, 제로지식 신경 추론 검증의 비선형 활성화당 110~190배 오버헤드 등을 정량화한다. 모든 AI의 근본적 한계가 동시에 설계 규칙이라는 관점에서 신뢰할 수 있는 AI 개발의 새로운 방법론을 제시한다.
- •결정론적 지평선: 12개 트랜스포머에서 19~31로 측정, 아키텍쳐 배포 전 레이어 수·임베딩 너비로 계산 가능
- •지평선 초과 시 어떠한 훈련도 4%p 이상 정확도 회복 불가, 잔차 스트림의 용량 불변량으로 설명
- •모듈식 지수에 대한 무조건 회로 복잡도 하한 + 제로지식 신경 추론 검증의 비선형 활성화당 110~190배 오버헤드
- •16개 불가능성-명세 쾼: 각 쾼은 계산 가능 경계, 정량화된 위반 비용, 건설적 설계 규칙 포함
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems
- 1.'디터미니스틱 호라이즘'을 증명: 12개 트랜스포머 아키텍처에서 레이어 수·임베딩 폭으로 배포 전 정확도 상한 산출 가능
- 2.호라이즘 19~31 범위 측정, 이를 넘으면 어륬 어댑터 랭크·샘플 수·손실 함수로도 정확도 이동 불가, 파인튜닝으로 4%p 이하 회복
- 3.선호도 학습·다단계 검샄·신뢰할 수 있는 경매·영지식 신경 추론 검증 16개 유실 시스템 설계 규칙 변환
왜 중요한가?
LLM의 추론 깊이에 구조적 한계가 있음을 수학적으로 증명하여, 모델 크기·파인튜닝만으로 신뢰성을 높이려는 접근의 근본 한계를 명확히 하고 안전한 AI 시스템 설계에 새로운 방법론을 제시한다.
본문 미리보기
arXiv:2605.23024v1 Announce Type: new Abstract: Large language models now write software, draft legal documents, and produce clinical notes, yet fundamental limits, from Turing and Arrow to the No Free Lunch theorems, shape what computation can do. This thesis turns such impossibility results from curiosities into design rules. Its flagship result proves an accuracy ceiling set by architecture alone: past a critical reasoning depth, no amount of training moves it, at any adapter rank, sample si
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
