[AI 리뷰] AI 언어모델의 ‘토큰 장벽’ 깬다…메타, 256개 바이트로 기존 모델 성능 추월 가능성↗ (원문, 새 창)

메타 FAIR와 워싱턴대 공동 연구진이 기존 10만 개 이상의 토큰 어휘 대신 256개 값의 바이트를 직접 처리하는 언어모델이 충분한 연산을 거치면 토큰 기반 모델보다 높은 성능에 도달할 수 있다는 연구를 발표했다. 연구진은 '마지널라이즈-잇'과 '엔드 오브 토큰' 두 가지 지식 증류 기법으로 대형 토큰 모델의 지식을 소형 바이트 모델에 이전해, 기존 토큰 기반 증류 모델과 동일한 성능을 약 6분의 1의 학습 데이터로 달성했다. 확장 법칙 분석에 따르면 엔드 오브 토큰 방식의 10억 매개변수 바이트 모델은 장기적으로 메타 라마 3.2-1B보다 최대 6.5%, 구글 젬마 3-1B보다 최대 8.1% 높은 성능을 보일 것으로 예측됐다. 다만 이는 실제 학습이 아닌 외삽 예측이며, 대형 모델에서의 재현성은 추가 검증이 필요하다.

• 256개 바이트를 직접 처리하는 모델이 연산량 증가 시 토큰 기반 모델보다 지속적으로 성능 향상
• '마지널라이즈-잇', '엔드 오브 토큰' 지식 증류 기법으로 토큰 모델 지식을 바이트 모델에 이전
• 지식 증류 적용 바이트 모델이 토큰 기반 증류 모델과 동일 성능을 약 6분의 1 데이터로 달성
• 확장 법칙 예측상 10억 매개변수 바이트 모델이 라마 3.2-1B보다 최대 6.5%, 젬마 3-1B보다 최대 8.1% 우수 전망
• 실제 학습이 아닌 외삽 예측이며, 대형 모델 환경에서의 재현성은 추가 검증 필요