LongMedBench는 MIMIC-IV 실제 전자의무기록(EHR)을 기반으로 장기(long-horizon) 임상 의사결정을 평가하는 벤치마크다. 환자 335명, 환자당 평균 19.72회 입원과 방문당 44.91개 의료 이벤트로 구성되며, 사실 기반 QA·시간 추론·장기 의사결정 세 가지 평가 스위트를 제공한다. 실험 결과 최신 LLM은 명시적 타임스탬프는 잘 활용하지만 암묵적 시간 추론에는 취약했고, RAG와 에이전트 메모리는 정보 검색은 개선하나 의사결정 성능은 즉시 컨텍스트에 크게 의존했다. 단발성 QA 중심이던 의료 AI 평가를 실제 진료처럼 종단적 상호작용으로 확장했다는 점에서 의료 에이전트 개발자에게 중요한 기준점이 될 수 있다.
- •MIMIC-IV 입원 기록·임상 노트를 시계열 이벤트 스트림으로 통합한 재현 가능한 파이프라인으로 구축
- •환자 335명, 평균 19.72회 방문, 방문당 44.91개 의료 이벤트 규모
- •사실 기반 QA, 시간 추론, 장기 의사결정의 3개 평가 스위트 제공
- •LLM은 명시적 타임스탬프 활용에는 강하지만 암묵적 시간 추론에 약점
- •RAG·메모리 시스템은 검색 성능만 개선, 의사결정은 즉시 컨텍스트 의존
LongMedBench: Benchmarking Medical Agents for Long-Horizon Clinical Decision-Making
본문 미리보기
arXiv:2607.09322v1 Announce Type: new Abstract: In this work, we introduce LongMedBench, a real-world EHR-based benchmark for long-horizon clinical decision-making. Prior evaluations of LLM-based medical agents have largely emphasized short-context knowledge QA and tool use. However, real-world medical care is inherently longitudinal, and clinicians must aggregate evidence across repeated visits, tests, and evolving treatments. Therefore, long-horizon interaction is essential for realistic asse
전체 내용이 궁금하다면?
원문을 직접 읽어보세요