BrainG3N은 3D 뇌 MRI 잠재확산을 위한 완전 볼류메트릭 마스크드 오토인코더(MAE) 기반 토크나이저로, 인코더 임베딩이 다운스트림 임상 정보를 보존하면서 디코더가 해부학적으로 충실한 볼륨을 복원해야 하는 상충 요구를 인코더·디코더 분리로 해결한다. 고정된 3D MAE 인코더가 임상 정보가 풍부한 임베딩을 만들고, 전용 CNN 디코더가 그 선형 사영으로부터 복셀을 복원한다. 인코더는 18개 공개 코호트·4개 모달리티·10개 질환·200곳 이상 촬영지의 35,309개 볼륨으로 사전학습됐으며, 23개 선형 프로빙 과제 중 21개에서 BrainIAC·BrainSegFounder·MedicalNet 등 SOTA를 능가하거나 동등했다. 또한 이 임베딩으로 학습한 조건부 확산 트랜스포머(DiT)가 6개 변수 조건부 생성과 환자별 종단 예측을 지원해, 임상 과제와 제어 가능한 생성을 모두 처리하는 단일 임베딩 공간을 확립했다.
- •인코더·디코더를 분리한 볼류메트릭 MAE 토크나이저로 임상 정보 보존과 충실한 복원을 동시 달성
- •18개 코호트·4개 모달리티·200여 촬영지의 35,309개 볼륨으로 사전학습
- •23개 선형 프로빙 과제 중 21개에서 BrainIAC·BrainSegFounder·MedicalNet 등 SOTA 동등 이상
- •조건부 DiT가 6개 변수 생성과 환자별 종단 예측을 지원
BrainG3N: A Dual-Purpose Tokenizer for Controllable 3D Brain MRI Generation
본문 미리보기
arXiv:2606.19651v1 Announce Type: new Abstract: Three-dimensional (3D) brain MRI is central to clinical neurology and neuro-oncology, where generative models could augment under-represented cohorts, simulate disease trajectories, and support privacy-preserving data sharing. Latent diffusion has been the go-to solution for modeling imaging data, but it places two competing demands on the tokenizer: encoder embeddings must retain the clinical information that downstream tasks act on, and the deco
전체 내용이 궁금하다면?
원문을 직접 읽어보세요