최신 의학 문헌 요약은 근거 기반 의료에 필수적이지만, 임상의는 진료 시간 부족과 폭증하는 논문량으로 어려움을 겪는다. 검색증강 LLM이 임상 요약에 유망함에도 광범위한 과학 문헌 종합 능력에 대한 인간 평가와 전문가 작성물과의 직접 비교는 드물었다. 연구진은 Sonnet, GPT-4o, Llama 3.1 세 LLM으로 RAG 기반 에이전트 AI 프레임워크를 구성했다. 두통 전문의가 13개 질문(프롬프트 최적화 3개, 평가 10개)을 만들고, 미국·캐나다 두통 전문의 10명이 각 질문에 요약을 작성해 질문당 4개(전문가·Sonnet·GPT-4o·Llama) 요약을 마련했다. 저자를 가린 전문가들이 정확성·완전성·간결성·임상 유용성 기준으로 1~10점 채점하고 선호 순위와 작성 주체(전문가/LLM) 추정을 표시했다. 결과적으로 전문가 작성 요약이 선호됐으나, 전문가들이 사람과 AI 요약을 구분하기 어려운 경우도 있었다. 또 표준 지표를 넘어 전문가가 중시하는 특징을 식별해 향후 인간·AI 요약 파이프라인 개선에 활용할 수 있다.

• •Sonnet·GPT-4o·Llama 3.1 세 LLM으로 RAG 기반 에이전트 AI 구축, 두통 문헌 요약 평가
• •전문의 10명(미·캐나다)이 질문당 요약 작성, 질문당 4개 요약(전문가·Sonnet·GPT-4o·Llama) 비교
• •저자를 가린 채 정확·완전·간결·임상유용성 1~10점 채점 및 선호 순위 평가
• •전문가 작성 요약이 선호됐으나 사람·AI 구분이 어려운 경우도 존재
• •표준 지표 외 전문가 중시 특징을 식별해 향후 요약 파이프라인 개선에 활용