이 논문은 과학적 가설 평가에서 LLM을 심판으로 쓰거나 의미적 유사성에 의존하는 기존 방식이 새로운 아이디어보다 익숙한 아이디어를 선호하는 편향을 가진다고 지적하며, 비교 판단 대신 언어모델의 내재적 확신도를 활용하는 로짓 기반 에너지 스코어링 방법을 제안한다. 12개 학문 분야 1,323편의 논문을 각각의 가설 및 15개의 오답 대안과 짝지어 7개 언어모델을 벤치마킹한 결과, 내재적 스코어링은 두 스코어러 통합 기준 Hit@1 33.0%를 기록해 프롬프트 기반 목록형 순위 매기기의 16.6%를 크게 앞섰다. 가장 우수한 조합인 10억 파라미터 모델의 로짓 기반 에너지 스코어링은 53.1%에 달했지만, 이는 14개 모델-스코어러 조합 중 사후에 선택된 최댓값이라는 한계가 있다. 전반적으로 내재적 모델 확신도가 과학적 가설 평가에 잠재력을 지니며, 신뢰할 수 있는 AI 기반 과학적 발견을 위한 확신도 기반 방법 연구의 동기를 제공한다.

• •LLM 심판이나 의미적 유사성 기반 가설 평가가 새로운 아이디어보다 익숙한 아이디어를 선호하는 편향을 지적한다.
• •비교 판단 대신 모델의 내재적 확신도를 활용하는 로짓 기반 에너지 스코어링 방법을 제안했다.
• •12개 분야 1,323편 논문 벤치마크에서 내재적 스코어링이 Hit@1 33.0%로 프롬프트 기반 순위 매기기(16.6%)를 크게 앞졌다.
• •최고 조합(10억 파라미터 모델)은 53.1%를 기록했지만 14개 조합 중 사후 선택된 최대값이라는 한계가 있다.