이 논문은 문헌 리뷰 자동 생성 시스템의 품질을 평가하기 어렵다는 문제를 해결하기 위해 배틀 방식 평가 플랫폼 'LitReview Arena'를 제안한다. AI 논문 작성 경험이 있는 전문가들이 익명화된 초안을 비교하고 5개 세부 기준에 대해 평가하는 방식으로 약 3000건의 전문가 판정 데이터를 수집했다. 가장 강력한 현재 시스템도 인간이 작성한 초안 대비 전체 유용성에서 결정적 승부 중 23.0%만 승리했지만, 소나 딥리서치 같은 에이전틱 LLM은 기본 언어모델보다 60% 이상 뛰어난 성능을 보였다. 기존 LLM 심사(judge) 방식은 인간 전문가와의 상관관계가 스피어만 상관계수 0.467에 그쳐 크게 어긋났으나, 수집된 선호 데이터로 보정한 평가모델 'LitJudge'는 0.78까지 상관관계를 끌어올려 전문가 간 일치 수준에 근접했다.

• •전문가 배틀 방식 평가 플랫폼 'LitReview Arena', 약 3000건 판정 데이터 수집
• •최강 AI 시스템도 인간 대비 결정적 승부 승률 23.0%에 그침
• •에이전틱 LLM(소나 딜리서치)이 기본 언어모델보다 60% 이상 우수
• •보정된 평가모델 LitJudge, 상관계수 0.467→0.78로 전문가 수준 근접