중환자실(ICU) 사망률을 예측하는 머신러닝 모델은 정확도가 높지만, 특성 기여도(feature attribution) 설명만으로는 임상 현장에서 필요한 서사적 설명을 제공하기 어렵다. 연구팀은 eICU Demo 데이터셋(2353건의 ICU 입원, 사망률 8.1%)을 활용해 XGBoost(AUROC 0.855, AUPRC 0.332)의 예측 결과를 단일 LLM과 4단계 에이전틱 파이프라인(데이터 해석·가이드라인 검증·최종 설명 분리)으로 각각 설명하는 실행 가능성을 비교했다. 38건의 층화 표본에서 단일 LLM은 결과가 노출되는 '정답 유출' 설명을 1건 생성한 반면 에이전틱 파이프라인은 0건이었으며, SHAP 검토와 겹치는 14건에서는 단일 LLM이 SHAP 정합도(자카드 0.171 대 0.077)와 방향 일치도(92.9% 대 78.6%)에서 우수했지만, 에이전틱 파이프라인은 가이드라인 근거성(0.762 대 0.143)과 값 구체성(0.236 대 0.143)에서 앞섰다. 연구팀은 에이전틱 분해가 안전성 관련 근거를 개선할 수 있으나 고위험 설명에 활용하기 전 특성 기여도 기반 검증과 병행해야 한다고 제언했다.

• •XGBoost(AUROC 0.855)의 ICU 사망 예측을 단일 LLM vs 4단계 에이전틱 파이프라인으로 설명 비교
• •에이전틱 파이프라인은 '정답 유출' 오류 0건, 단일 LLM은 1건 발생
• •단일 LLM은 SHAP 정합도·방향 일치도 우수, 에이전틱은 가이드라인 근거성·값 구체성 우수
• •고위험 임상 설명에는 에이전틱 분해와 특성 기여도 검증을 병행할 것을 제언