역전파 없는 AI 학습 실험, 열흘 만에 4000배 빨라져…1.76시간→1.6초↗ (원문, 새 창)

본문 미리보기

역전파 없이 언어모델을 학습하는 공개 실험에서 목표 성능에 도달하는 시간이 열흘 만에 1.76시간에서 1.6초로 줄었다. 오픈소스 커뮤니티가 학습 알고리즘과 GPU 연산 방식을 개선한 결과다. 기존 역전파 학습과 속도를 비교한 수치는 아니지만, 새로운 학습 방식의 개선 가능성을 보여준 성과다.Q랩스(Q Labs)는 최근 오픈소스 프로젝트 ‘노이즈(Noise)’의 성과를 공개하며 초기 기록에서 약 4000배의 속도 향상을 이뤘다고 밝혔다.당시 실험은 매개변수 3770만개의 소형 GPT 모델을 대상으로, 파인웹(FineWeb) 데이터