오픈AI를 8개월 만에 퇴사한 앤드루 호는 대형언어모델이 일반화에 약하다며, 스케일링만으로는 한계를 극복할 수 없고 향후 AI 업계가 목표 지향적 데이터 수집에 1000억 달러 이상을 투입하게 될 것이라 전망했다. 그는 경제적으로 중요한 기술 대부분이 기존 데이터셋에 거의 반영돼 있지 않다는 점을 원인으로 지목하며, 생물정보학 등 복잡한 과학 분석용 데이터셋과 실험실 업무용 데이터셋을 첫 제품으로 준비 중이다. 케임브리지 연구자 애덤 헌트도 유사한 회의론을 제기하며, 최신 모델들이 코딩·수학에서는 발전하지만 언어 품질이나 단순 논리에서는 정체되거나 퇴보하는 '특화' 경향을 보인다고 지적했다. 구글 딥마인드의 톰 자하비는 이를 모델이 연역·귀납에는 강하지만 선례 없는 원인을 창안하는 '귀추(abduction)'에는 약하기 때문이라 설명하며, 반사실적 실험이 가능한 행동 제어형 세계모델을 대안으로 제시했다.

• •전 오픈AI 연구원 앤드루 호, 스케일링만으로는 한계 — 향후 AI 업계가 목표지향적 데이터 수집에 1000억달러 이상 투입할 것으로 전망
• •경제적으로 중요한 기술 대부분이 기존 학습 데이터셋에 거의 반영되지 않았다는 점을 근본 원인으로 지목
• •호는 생물정보학·실험실 업무용 데이터셋 스타트업 준비, 오픈AI·앤트로픽 등 고평가에도 회의적
• •케임브리지 연구자 애덤 헌트: 최신 모델이 코딩·수학은 느는 반면 언어 품질·단순 논리는 정체·퇴보하는 '특화' 경향 관찰
• •구글 딥마인드 톰 자하비: LLM은 연역·귀납에는 강하나 선례 없는 원인을 만드는 '귀추'에는 취약하다고 구조적으로 설명