How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications↗ (원문, 새 창)

AI 스타트업 다르마AI가 범용 모델의 어휘집(vocabulary)을 도메인에 맞춰 재구성하는 'VocabX' 기법으로 실제 운영 중인 포르투갈어 에세이 채점기의 추론 비용을 77% 줄였다고 밝혔다. Qwen3-4B 기반 채점기의 기존 어휘집은 15만1669개 토큰으로 여러 언어와 도메인을 아우르는 범용 설계였는데, VocabX는 하위단어 병합과 반복 구문을 하나의 '매크로 토큰'으로 묶는 두 계층을 비용 기준으로 동시에 최적화해 출력 계층을 약 6만5000개 행으로 줄였다. 그 결과 응답 토큰 수가 평균 350개에서 101개로 줄고 채점 품질 점수는 0.703에서 0.810으로 오히려 상승했다. 계약서·의학논문·뉴스·코드 등 5개 도메인과 Qwen3·Llama-3.1·Gemma-3 세 모델군에서 비교한 결과 기존 기법보다 모든 조합에서 더 높은 압축률과 비용 절감을 기록했다.

• VocabX는 하위단어 병합과 반복 구문을 하나의 토큰으로 묶는 두 계층을 비용 기준으로 동시 최적화
• 포르투갈어 에세이 채점기에서 추론 비용을 77% 절감
• 응답 토큰 수는 350개에서 101개로 줄었고 채점 품질은 0.703에서 0.810으로 상승
• 5개 도메인·3개 모델군에서 기존 기법보다 모두 더 높은 성능 입증