오픈AI가 공개한 대규모 수학 증명들이 외부 자문그룹 AGMAI(수학·AI 자문그룹)가 제시한 기준에 미치지 못한다는 지적이 나왔다. AGMAI는 9월말 "독점 모델로 고난도 미해결 문제를 테스트하지 말라"고 권고했지만 오픈AI는 자사 모델로 공개 연구 문제를 평가하는 방식을 그대로 유지했다. 케임브리지와 킹스칼리지 런던 연구진은 오픈AI가 네이비어-스토크스 방정식에서 파생된 문제에 제시한 증명에서, 자연어 설명과 이를 코드로 자동 변환(정형화)한 린(Lean) 증명 사이에 최소 두 건의 불일치를 발견했다고 밝혔다. 하버드대 멜라니 우드 교수는 "공개 시점에 인간의 이해가 전혀 수반되지 않았고, 이제부터 그 작업이 시작되는 것"이라고 지적하며, 오픈AI가 증명을 의미 있게 만들 인간 수학자들의 작업에 자금을 지원해야 한다는 제언도 나왔다.

• •AGMAI "독점 모델로 미해결 난제 테스트 말라"는 9월 권고를 오픈AI가 따르지 않음
• •케임브리지·탱스칼리지 연구, 네이비어-스토크스 파생 문제의 자연어-린(Lean) 코드 불일치 발견
• •공개된 719건 중 사고과정 공개 10건, 정형검증 완료 42%에 그쳐(AGMAI 권고 미달)
• •하버드대 멀라니 우드 "공개 시점에 인간의 이해가 없었다"고 지적
• •AGMAI, 오픈AI가 증명 해설에 나설 인간 수학자들의 작업에 자금 지원해야 한다고 제언