앨런AI연구소(Ai2)가 LLM 학습 효율을 높인 오픈소스 프레임워크 '올모 코어 3'를 공개했다. 전문가 혼합(MoE) 모델의 학습 시스템을 기존 완전 샤딩 데이터 병렬 처리(FSDP) 방식에서 분산 데이터 병렬 처리(DDP) 기반으로 전환해, 전문가를 GPU에 상주시키고 가중치를 반복 수집하는 부담을 줄였다. 엔비디아 B300 GPU 8개로 470억 파라미터 MoE 모델을 테스트한 결과 GPU당 처리량이 기존보다 약 2.7배 향상됐으며, 전문가 수를 늘려 규모를 확장해도 처리량 감소가 5% 미만으로 유지되는 안정적 확장성을 확인했다. 저정밀도 연산 형식 MXFP8을 적용해 처리량을 약 21% 추가로 늘렸으며, 관련 코드와 기술 보고서를 깃허브에 공개해 대규모 AI 모델 학습 인프라에 대한 접근성을 높였다.

• •Ai2, LLM 학습 효율 띒잌 오핀스 프레임용크 '왔띵 코어 3' 개쯉
• •FSDP에서 DDP 기반으똸 해았, 자문가뜴 GPU에 상주시쾜 통신 뱄용 절감
• •B300 GPU 8개 테스트에서 470억 파띔문터 모델 GPU류 춈랰띨 약 2.7바 효효
• •깄기 확띄 시에뙤 춈랰띨 감소 5% 믄띨뜸 안정읰 확장성 탑인
• •MXFP8 저정뼑댄 연솠 적앨해 춈랰띨 약 21% 추가 효효, 코됉·띄고서 가능