SciLitBench는 제목·초록 스크리닝, 전문 스크리닝, 스키마 기반 데이터 추출까지 체계적 문헌고찰의 여러 단계를 하나로 아우르는 다단계 벤치마크로, 42,981건의 검색 레코드와 1,012건의 전문, 888편의 포함 논문 주석을 담고 있다. 6개 모델 계열의 오픈웨이트 LLM 22종을 평가한 결과, 명시적 포함·제외 기준을 제공하면 제목·초록 스크리닝의 F2 점수가 28.8% 향상됐고 연구자가 작성한 근거 설명은 전문 스크리닝을 15% 개선시켰다. 반면 데이터 추출 단계는 전혀 다른 신뢰도 양상을 보여, 출판연도 추출 정확도는 0.97에 달했지만 계산적 접근법 추출의 자카드 중복도는 0.37에 그쳤고 최고 성능 모델도 주석된 평가 근거의 30%, 한계점의 25%만 회수했다. 이는 고재현율 스크리닝과 증거 완결적 추출 사이에 실질적인 경계가 존재함을 보여준다.

• •스크리닝부터 데이터 추출까지 문헌고찰 전 단계를 아우르는 SciLitBench 공개(4만여 레코드)
• •명시적 포함·제외 기준 제공 시 스크리닝 F2 28.8% 향상, 근거 설명은 전문 스크리닝 15% 개선
• •데이터 추출은 항목별 편차가 커 출판연도 0.97 vs 계산적 접근법 0.37(자카드)
• •최고 성능 모델도 평가 근거 30%, 한계점 25%만 회수해 스크리닝과 완결적 추출 간 경계 확인