PrismML이 발표한 'Bonsai 2 27B'는 알리바바의 오픈소스 모델 Qwen3.8 27B를 5.9GB로 압축해 PC와 고성능 스마트폰에서 구동할 수 있게 만든 추론 모델이다. '삼진(ternary)' 가중치 방식으로 16비트 가중치를 +1·−1·0 세 값으로 단순화해 메모리를 9~10배 줄이면서도 벤치마크 성능의 98%를 유지했다. 캘리포니아공대 출신 창업자 바박 하시비가 이끄는 이 스타트업은 코슬라벤처스 등의 투자를 받았으며, 이전 모델은 누적 1100만 다운로드를 기록했다. 회사는 향후 수백억 파라미터급 대형 모델에도 같은 압축 기법을 적용할 계획이라고 밝혔다.
- •Bonsai 2 27B는 Qwen3.8 27B를 5.9GB로 압축해 9~10배 메모리 절감
- •가중치를 +1·−1·0 세 값으로 단순화하는 '삼진' 압축 기법 사용
- •벤치마크 성능 98% 유지, 이전 버전(95%)보다 개선
- •누적 다운로드 1100만+260만 건 기록
- •향후 수백억 파라미터급 모델에도 압축 기술 확장 계획
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
PrismML hopes its tiny LLM will change how we all use AI
- 1.프리즘ML, 알리바바 큐원3.8 27B를 5.9GB로 압축한 '본사이2 27B' 공개…원본 대비 9~10배 축소
- 2.삼진(ternary) 가중치(+1/-1/0) 기법으로 벤치마크 성능 98% 유지, 3월 첫 버전 95%서 개선
- 3.$22.25M 시드로 시작, 칼텍 교수 바박 하시비가 창업하고 이온 스토이카(데이터브릭스)가 자문
- 4.초기 본사이 모델 1100만+ 다운로드, 이후 소형 모델들도 260만+ 추가 다운로드
왜 중요한가?
동일 성능을 유지하면서 모델을 PC·스마트폰에 올릴 수 있을 만큼 압축하는 기술이 실증되며, 클라우드 의존 없는 온디바이스 sLLM 상용화 경쟁에 새로운 변수로 등장했다.
본문 미리보기
If AI lab PrismML isn't on your radar yet, it should be.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:53AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

