MedRealMM은 중국 전국 단위 인터넷 병원의 비식별화된 실제 의사-환자 상담 기록으로 구축한 멀티모달 온라인 의료 상담 벤치마크다. 임상적으로 까다로운 순간을 추출하는 MCCP 프레임워크로 텍스트·이미지 맥락을 보존한 다음 응답 생성 과제를 만들고, 의사가 다듬은 사례별 루브릭으로 안전하지 않거나 근거 없는 응답을 감점한다. 64개 진료과에 걸친 5,620개 실제 사례로 19개 범용·의료특화 LLM을 평가한 결과, 이미지 정보가 신뢰할 수 있는 임상 성능에 필수적이었고 프론티어 모델도 온라인 의사 수준에는 못 미쳤다. 일부 모델은 긍정 기준 충족은 의사와 대등하거나 앞섰지만 부정 기준(위험 응답)을 더 많이 건드려, 안전 측면의 오류 회피가 핵심 병목임을 드러냈다.
- •중국 인터넷 병원의 실제 상담 기록 기반, 64개 진료과 5,620개 멀티모달 사례
- •MCCP 프레임워크로 임상적 난이도 높은 순간을 추출해 표준화된 응답 생성 과제로 변환
- •의사 검수 사례별 루브릭으로 안전하지 않거나 모순된 응답 감점
- •19개 LLM 평가: 이미지 정보가 필수적이며 프론티어 모델도 온라인 의사 응답 수준 미달
- •안전 오류 회피가 핵심 병목: 긍정 기준은 충족해도 위험 응답이 더 많음
- •데이터셋은 Hugging Face에 공개 예정
MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation
본문 미리보기
arXiv:2607.09142v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly deployed in online medical consultation, yet existing benchmarks remain poorly aligned with real clinical practice. Many rely on synthetic conversations or patient simulators, omit patient-uploaded medical images, or evaluate open-ended clinical responses using multiple-choice or lexical-overlap metrics that poorly reflect clinical quality. We introduce \textbf{MedRealMM}, a large-scale benchmark for m
전체 내용이 궁금하다면?
원문을 직접 읽어보세요