폐쇄형 세계는 AI에 특화된 역량을 요구하며 고정 기준으로 iid 데이터를 모을 수 있게 하지만, 열린 세계는 사전 설계 없이 적은 예시만으로 새로운 과제를 처리하는 범용성을 요구하고 데이터도 뒤섞이지 않은 채 그룹으로 주어진다. 연구팀은 과제가 사전에 알려지지 않으므로 추론 시점 학습이 첫 번째 요건이며, 과제들이 잠재 요인을 공유한다고 모델링해 학습 목표를 분해함으로써 iid 일반화 이상을 보존하는 '풍부한 표현'과 입력·출력을 저차원 그룹으로 정렬하는 '예측적 비구속화'라는 두 요건을 추가로 도출했다. 80억 파라미터까지의 언어모델로 이런 속성의 질적 보유 여부를 검증한 결과, 요건을 만족하는 모델은 관련 과제 데이터가 쌓일수록 개선되지만 나머지는 저하됐고, 이는 규모나 레이어 유형 교차로도 해결되지 않았다.

• •열린 세계 AI가 폐쇄형 세계와 달리 요구하는 세 가지 요건: 추론 시점 학습, 풍부한 표현, 예측적 비구속화
• •과제 간 잠재 요인 공유를 모델링해 학습 목표를 분해하는 방식으로 요건을 이론적으로 도출
• •80억 파라미터급 언어모델에서 요건 충족 여부(질적)를 '있다/없다'로 검증
• •요건 충족 모델은 관련 과제 데이터 누적 시 개선, 미충족 모델은 저하되며 규모 확대로도 해결 안 됨