연구진이 9GB 규모의 오픈웨이트 모델 Qwen2.5-14B(4비트 양자화)를 1984년부터 2025년까지 41개 시즌, 총 52만 9,939개 문제로 구성된 제퍼디! 전체 데이터셋에 대해 평가했다. 이는 모델이 제퍼디! 전체 코퍼스에 대해 테스트된 첫 사례로, 이 모델은 엄격한 강제응답 방식에서 전체 문제의 67.0%를 맞혔고 사실형 카테고리에서는 85%를 넘었다. 특히 훈련 데이터 마감 이후 방영된 문제에서는 로컬 모델이 65%, Claude Opus 4.8이 95%를 기록한 반면, 과거 데이터에 맞춰 튜닝된 IBM 왓슨은 이런 신규 문제를 전혀 맞히지 못했을 것이라는 점에서 대조된다. 연구진은 2011년 왓슨이 서버실에 갇혀 있던 지식 캡슐이었다면, 이제는 이런 문화적 지식 스냅샷이 파일 하나로 휴대 가능하고 사실상 무료로 구현됐다고 평가한다.

• •9GB 오픈웨이트 모델 Qwen2.5-14B, 제퍼디! 전체 52만 9,939개 문제로 첫 전수 평가
• •강제응답 방식에서 전체 정답률 67.0%, 사실형 카테고리는 85% 이상
• •훈련 마감 이후 문제에서 로컬 모델 65%, Claude Opus 4.8은 95% 기록
• •왕슨은 과거 문제에 특화돼 학습 후 신규 문제에는 대응 불가한 구조
• •문화적 지식 스냅샷이 서버실 규모에서 파일 하나로 휴대 가능해졌음을 시사