OpenDiscoveryTrace는 AI 과학자 에이전트가 최종 결과물이 아니라 그 결과에 이르는 추론 과정을 어떻게 밟았는지 포착한 558개의 완전한 트래젝토리로 구성된 공개 데이터셋이다. 신약 발굴, 소재과학, 유전체학 등 124개 과제에서 사고, 도구 호출, 관찰, 오류, 수정 계기, 자기보고 신뢰도 등 9개 필드를 단계별로 기록했으며, GPT-5.4·Claude Opus 4.6·Gemini 3.1 Pro 등 프론티어 모델 3종과 경량 오픈웨이트 모델 4종을 포함한 7개 모델을 다뤘다. 363개 트래젝토리 분석 결과 세 프론티어 모델은 성공률(84~89%)이 비슷했지만 Claude Opus 4.6은 GPT-5.4보다 30배 많은 오류를 냈고, 오류 유형도 Claude는 도구 오용(66.7%), GPT-5.4는 추론 오류(83.6%)로 서로 달랐다. 결과만 보는 평가로는 드러나지 않던 모델 간 행동 차이를 프로세스 트레이스가 밝혀냈다.

• •프론티어·오픈웨이트 7개 모델의 558개 완전한 과학 추론 트래젠토리를 CC BY 4.0로 공개
• •사고·도구호출·오류·자기신뢰도 등 9개 필드로 단계별 추론 과정을 기록
• •프론티어 3개 모델 성공률은 비슷(84~89%)하나 오류율은 최대 30배 차이(Claude Opus 4.6 vs GPT-5.4)
• •Claude는 도구 오용(66.7%), GPT-5.4는 추론 오류(83.6%) 중심으로 오류 유형이 상이
• •출력만 보는 평가로는 드러나지 않는 행동 차이를 프로세스 트레이스로 규명