미래 사건의 확률을 알려주는 비에이전트형 '오라클' AI는 답이 알려지고 행동에 반영되는 순간 그 확률 자체를 바꾸는 수행성(performativity) 문제를 안는다. 저자 Jobst Heitzig는 문제의 본질이 수행성이 아니라, 자기충족적 예언의 고전적 비유일성 탓에 여러 자기일관적 답 중 하나를 고르는 선택 규칙이 목표 지향적 조종의 지렛대가 된다는 점이라고 본다. 해법은 선택 자체를 제거하는 것으로, 단일 확률 대신 credal set(신뢰 집합)을 보고하고 반응을 닫힌 credal set의 완비 격자 위 등위 연산자로 올린 뒤 Knaster-Tarski 최소 고정점을 규칙으로 결정되는 정준 답으로 보고한다. 존재성·자기일관성·비공집합성을 증명했고, 비수행적 질문에서는 고전적 점 추정으로 환원되며 이진 사건에서는 답이 구간이 됨을 보였다. AI 안전 관점에서 오라클의 조종 가능성을 원천 차단하는 이론적 설계다.
- •오라클의 위험은 수행성이 아니라 자기일관적 답 중 선택 규칙이 조종 지렛대가 된다는 진단
- •단일 확률 대신 credal set을 보고하고 Knaster-Tarski 최소 고정점을 정준 답으로 채택
- •존재성·자기일관성·비공집합성을 수학적으로 증명
- •비수행적 질문에서는 고전적 점 추정으로 환원, 이진 사건에서는 답이 구간 형태
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Unbiased Canonical Set-Valued Oracles Via Lattice Theory
- 1.미래 사건 확률을 추정하는 비행위자 '오라클' AI의 자기참조 문제를 격자이론으로 다룸
- 2.반사실 질문 방식은 답이 학습되는 순간 전제가 거짓이 되어 무의미해진다고 지적
- 3.단일 확률 대신 비편향·자기일관적 신용집합(credal set)을 보고하는 대안 제시
- 4.Knaster-Tarski 고정점 정리로 최소 고정점을 표준 답으로 도출, 이진 사건서 구간형 입증
왜 중요한가?
AI 예측이 스스로의 행동을 통해 결과를 바꾸는 수행성(performativity) 문제에 수학적으로 엄밀한 해법을 제시해, 미래 예측형 오라클 AI의 신뢰성·일관성 설계 논의를 진전시킨다.
언급 프로젝트
본문 미리보기
arXiv:2606.26418v1 Announce Type: new Abstract: A non-agentic "oracle" AI that estimates probabilities of future events faces a self-reference problem: once its answer is learned and acted upon, it can change the very probability it was asked to report. One response, advocated for the Scientist AI programme, is to ask only counterfactual questions, evaluated as if the answer had no influence. We observe that such answers tend to become irrelevant the moment they are learned, precisely because t
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
