연구팀은 대형언어모델(LLM)의 컨텍스트 윈도우 길이가 AI 생성 문헌 리뷰의 품질에 미치는 영향을 평가하기 위해, Semantic Scholar와 arXiv 자료를 기반으로 생성된 20편의 AI 문헌 리뷰를 짧은 컨텍스트와 긴 컨텍스트 환경으로 나눠 두 명의 연구자가 15개 항목에 걸쳐 평가했다. 그 결과 AI가 생성한 문헌 리뷰는 학술 출판 기준을 충족하려면 반드시 사람의 감수가 필요한 것으로 나타났다. 컨텍스트 윈도우가 커질수록 LLM은 더 넓은 정보를 반영하고 긴 입력에서도 일관성을 유지할 수 있었지만, 동시에 내용 반복, 핵심 연구 누락, 종합적 분석보다 단순 서술에 치우치는 문제도 심화됐다. 연구팀은 AI 생성 리뷰가 기초적인 개관은 제공할 수 있지만 결과물은 반드시 전문가가 비판적으로 검토·수정해야 한다고 결론지었으며, 향후 다른 LLM과 파인튜닝 모델을 결합한 인간-AI 하이브리드 접근이 필요하다고 제언했다.

• •짧은/긴 컨텍스트 윈도우로 생성된 AI 문헌 리붰 20편을 15개 항목에 걸쳐 평가
• •컨텍스트가 길수록 정보 폭과 일관성은 개선되나 반복·핵심 연구 누락·서술 편중도 심화
• •AI 생성 문헌 리붰는 학술 출판 기준 충족을 위해 반드시 인간 감수가 필요하다고 결론
• •향후 다른 LLM·파인튜닝 모델과 인간 전문성을 결합한 하이브리드 접근을 제언