동결된 의료 LLM 표현이 임상 서술과 구조화된 EHR 변수를 아우르는 멀티모달 주진단 범주 예측의 공유 임베딩 공간으로 쓰일 수 있는지 검증한 연구다. MIMIC-IV에서 최빈 ICD-10 코드 10개를 7개 범주로 통합한 13,645건 입원 코호트를 구성하고, 구조화 변수를 임상 서술로 직렬화해 누수 제거된 퇴원 요약과 결합했다. 동결된 MedFound-Llama3-8B 백본에서 5개 트랜스포머 층의 은닉 상태를 추출해 선형 프로브를 학습, XGBoost·PLM-ICD 베이스라인과 비교했다. 결합 프로브가 MIMIC-IV에서 엄격 정확도 87.69%, 의학 정확도 91.45%로 단일 모달 프로브와 베이스라인을 모두 앞섰고, 구조화 전용 프로브도 표준 베이스라인 대비 의학 정확도가 6.19점 높았다. 진단 정보는 깊은 층일수록 선형 분리 가능해졌고, 200만 파라미터 어댑터가 목표 라벨 5%만으로 MIMIC-III 교차 데이터셋 전이를 복원했다. LLM 임베딩이 구조·서술 정보를 통합하는 실용적 접근임을 보여준다.
- •동결된 의료 LLM 표현을 구조화 EHR과 임상 서술의 공유 임베딩 공간으로 활용
- •MIMIC-IV 13,645건 코호트, 결합 프로브가 엄격 정확도 87.69%·의학 정확도 91.45%로 최고
- •구조화 전용 프로브가 표준 베이스라인 대비 의학 정확도 6.19점 우위
- •200만 파라미터 어댑터가 목표 라벨 5%만으로 MIMIC-III 교차 전이 복원
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Primary ICD Category Prediction using LLM-based Probing
- 1.동결(frozen) 의료 LLM 임베딩에 선형 프로브만 얹어 주진단 ICD 카테고리를 예측하는 접근 제안
- 2.MIMIC-IV 13,645건에서 구조화 EHR+퇴원기록 결합 프로브가 의학 정확도 91.45%로 최고
- 3.구조화 데이터만 써도 XGBoost 등 베이스라인 대비 +6.19%p, 깊은 층일수록 선형 분리도 증가
- 4.200만 파라미터 어댑터와 타깃 라벨 5%만으로 MIMIC-III 교차 데이터셋 전이 복원
왜 중요한가?
LLM을 파인튜닝하지 않고 임베딩만 재사용해 구조화·비구조화 EHR을 통합하는 저비용 접근이 실용 수준의 정확도를 낸다는 실증이다. 보험 청구·연구의 기반인 ICD 자동 코딩을 소형 어댑터로 병원 간 이식할 수 있다는 점에서 배포 비용 관점의 의미가 크다.
본문 미리보기
arXiv:2606.28798v1 Announce Type: new Abstract: Objective: ICD codes are central to reimbursement, research, and population health surveillance, yet automated coding systems often struggle to integrate diagnostic signals from both clinical narratives and structured electronic health record (EHR) variables. We evaluated whether frozen medical large language model (LLM) representations can serve as a shared embedding space for multimodal primary diagnosis category prediction. Materials and Meth
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안
