임상 의사결정(CDM) 평가를 위한 자동화되고 신뢰할 수 있는 EHR(전자의무기록) 기반 벤치마크 EHRBench를 제안했다. EHR-LLM-지식베이스 상호작용 파이프라인으로 환자 진료 궤적을 구조화 템플릿으로 변환하고 KB 기반 검증·보강을 적용해, 진단·치료·예후 세 가지 임상 추론 태스크를 아우르는 약 96만 개 QA 항목을 자동 구축했다. 30개 이상의 대표적 LLM을 벤치마킹한 결과 설정 전반에 걸쳐 일관된 능력 추세를 확인해 EHRBench의 신뢰성을 검증했다. 임상적으로 신뢰할 수 있는 LLM 시스템을 향한 실행 가능한 개선 방향과 현재 능력의 한계를 도출했다.
- •EHR-LLM-KB 파이프라인으로 진단·치료·예후 3가지 임상 추론 태스크를 아우르는 약 96만 개 QA 항목을 자동 생성·검증해 대규모 신뢰성을 확보했다.
- •KB 기반 검증·보강으로 환각된 관계와 모호한 항목을 필터링해 기존 LLM 생성 의료 벤치마크 대비 신뢰성을 향상시켰다.
- •30개 이상 LLM 벤치마킹 결과 일관된 능력 추세를 보이며 임상 신뢰성 달성을 위한 실행 가능한 개선 방향을 제시했다.
EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs
- 1.실제 환자 EHR 기반 자동화 파이프라인으로 약 96만 QA 항목 구축한 임상 의사결정 벤치마크 EHRBench 공개
- 2.진단·치료·예후 3가지 주요 추론 태스크에 걸쳐 30개 이상 대표 LLM 성능과 강건성 평가
- 3.KB 기반 검증·보강으로 환각·모호한 관계를 필터링해 대규모 임상 벤치마크의 신뢰성 확보
왜 중요한가?
기존 의료 AI 벤치마크의 소규모·비자동화 한계를 96만 항목의 EHR 기반 데이터로 극복하며, 30개 LLM 비교 분석이 임상에 신뢰할 수 있는 LLM 도입을 위한 구체적 격차를 드러낸다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2605.30637v1 Announce Type: new Abstract: Clinical decision-making (CDM) is central to real-world clinical workflows, where clinicians infer diagnoses, select treatments, or anticipate future health outcomes under incomplete evidence. LLMs are increasingly used to support these decisions due to strong language capabilities, broad biomedical knowledge, and efficiency, yet the reliability of LLMs on real-world clinical decision tasks remains insufficiently understood. To evaluate CDM models
전체 내용이 궁금하다면?
원문을 직접 읽어보세요