이 프로젝트는 AMD ROCm 환경에서 CUDA 없이 Qwen3-1.7B 모델을 LoRA 파인튜닝해 의료 객관식 문제 응답 AI 'MedQA'를 구축한 내용을 다룹니다. AMD Instinct MI300X의 192GB HBM3 메모리 덕분에 양자화 없이 fp16으로 약 5분 만에 학습을 완료했습니다. MedMCQA 데이터셋 2,000개 샘플로 훈련된 모델은 정답과 함께 임상적 추론 설명을 제공합니다. HuggingFace 생태계(Transformers, PEFT, TRL)가 환경 변수 3개 설정만으로 ROCm과 완벽 호환됨을 실증했으며, 파인튜닝 어댑터는 HuggingFace Hub에 공개되어 있습니다.

• •AMD MI300X의 192GB HBM3 메모리로 양자화 없이 fp16 전체 정밀도 파인튜닝이 가능하며, 이는 NVIDIA 대비 명확한 하드웨어 이점입니다.
• •LoRA 적용으로 전체 파라미터 15억 개 중 단 220만 개(0.14%)만 학습하여 메모리 효율을 극대화하고 학습 시간을 5분으로 단축했습니다.
• •환경 변수 3개(ROCR_VISIBLE_DEVICES, HIP_VISIBLE_DEVICES, HSA_OVERRIDE_GFX_VERSION) 설정만으로 HuggingFace 코드를 수정 없이 ROCm에서 실행 가능합니다.
• •모델은 정답 문자만이 아니라 임상적 추론 설명을 함께 출력하여 의료 현장에서의 실용성을 높였습니다.
• •파인튜닝된 LoRA 어댑터가 HuggingFace Hub(HK2184/medqa-qwen3-lora)에 공개되어 별도 설치 없이 즉시 사용 가능합니다.