연구진은 ECG, 심장초음파, 흉부 X선, 임상 변수 등 서로 다른 심장 진단 모달리티를 사전학습 단계부터 잠재 공간에서 직접 통합하는 멀티모달 마스크 오토인코더 LAMAE를 제안했다. 기존 의료 파운데이션 모델이 모달리티별로 학습한 뒤 후처리로 결합하던 것과 달리, LAMAE는 스터디-뷰-엔티티 계층 구조 위에서 공유 잠재 어텐션 모듈로 정보를 교환해 모달리티 간·내부 구조를 동시에 학습한다. MIMIC-IV의 120만 건 이상 입원 데이터로 사전학습한 결과 병원 내 사망률, ICD-10·DRG 코딩, 재원 기간 등 여러 과제에서 모달리티별 사전학습 및 대조학습·비전-언어 기반선을 능가했고, 테스트 시 일부 모달리티만 있어도 성능이 유지됐다. 데이터가 불완전한 실제 임상 환경에서도 안정적인 표현 학습이 가능함을 시사한다.

• •ECG·심장초음파·흉부X선·임상변수를 사전학습 단계에서 잠재 공간으로 직접 융합하는 LAMAE 제안
• •스터디-뷰-엔티티 계층 구조의 공유 잠재 어텐션 모듈로 모달리티 간·내부 구조 동시 학습
• •MIMIC-IV 120만 건 이상 입원 데이터로 사전학습
• •병원 내 사망률, ICD-10/DRG 코딩, 재원 기간 예측에서 기존 모달리티별 및 대조학습 기법 능가
• •테스트 시 단일 모달리티만 있어도 성능 유지, 결측 모달리티에 강건