허깅페이스가 러스트 기반 tokenizers 라이브러리의 차기 버전 v1을 공개하며 v0.23 대비 최대 30배 빠른 인코딩 성능을 달성했다고 밝혔다. v1은 정규식 대신 SIMD 비트스트림 연산으로 사전 토큰 경계를 찾는 'bitcannon', 반복 단어를 한 번만 병합해 재사용하는 스레드 로컬 워드 캐시, 할당 없이 스크래치 버퍼에서 동작하는 병합 루프, 여러 스레드가 락 경쟁 없이 하나의 토크나이저를 공유하는 네이티브 병렬화 등을 도입했다. 애플 M4 Max 단일 스레드 기준 gpt2는 최대 30배, t5-base는 3배 빨라졌고 8개 워커에서 선형 대비 76% 스케일링을 보였으며, 같은 토큰 ID를 그대로 생성해 하위 호환성도 유지했다. 현재 러스트 프리릴리스가 배포 중이며, 1.0.0까지는 학습 검증 통합과 파이썬 바인딩 단순화 등이 예정돼 있다.

• •tokenizers v1이 v0.23 대비 최대 30배 빠른 인코딩 성능 달성(모델별 3~30배)
• •정규식 대신 SIMD 비트스트림으로 사전 토큰 분리하는 bitcannon 기법 도입
• •반복 단어 재병합을 막는 워드 캐시, 할당 없는 병합 루프로 오버헤드 제거
• •락 경쟁 없는 네이티브 병렬화로 8워커에서 선형 대비 76% 스케일링
• •동일 토큰 ID 생성으로 하위 호환 유지, 현재 러스트 프리릴리즈 배포 중