옵트에이아이가 자체 설계한 첫 온디바이스 파운데이션 모델 '옵트기어(Opt.Gear)'를 공개했다. 10억(1B), 2.7억(270M), 100만(1M) 파라미터 세 가지 크기로 스마트폰·노트북·MCU에서 구동 가능하며, 핵심 기술인 'ConvKV-Gated Mixer' 구조로 어텐션 계층을 합성곱 연산으로 대체해 문맥이 길어져도 KV 캐시 크기가 고정되도록 설계했다. 퀄컴 스냅드래곤 8 Elite Gen5에서 초당 7042토큰 처리 속도로 알리바바 큐원 3-1.7B 대비 2.9배 빨랐고, 아이폰 17 프로에서는 LG 엑사원 4.0-1.2B 대비 4.9배 빠른 토큰 생성 속도를 보였다. MMLU 43.2점, HAERAE 44.2점으로 젬마 3-1B와 엑사원 4.0-1.2B를 앞지르며 온디바이스 경량 모델 경쟁에서 경쟁력을 입증했다.
- •ConvKV-Gated Mixer 구조로 문맥 길이 증가에도 KV 캐시 크기를 고정시켰다.
- •퀄컴 스냅드래곤 8 Elite Gen5에서 큐원 3-1.7B 대비 2.9배 빠른 토큰 처리 속도를 기록했다.
- •아이폰 17 프로에서 LG 엑사원 4.0-1.2B 대비 4.9배 빠른 토큰 생성 속도를 보였다.
- •MMLU 43.2점, HAERAE 44.2점으로 동급 오픈 모델을 앞질렀다.
- •가중치와 배포 파일을 공개한 오픈웨이트 모델로 LG전자·현대차 등과 협력 중이다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
옵트에이아이, 온디바이스 특화 자체 경량 AI 모델 '옵트기어' 공개
본문 미리보기
옵트에이아이(대표 이재호)는 자체 경량 언어모델 '옵트기어(Opt.Gear)'를 공개했다고 6일 밝혔다.옵트기어는 옵트에이아이가 자체 설계한 첫 파운데이션 모델이다. 매개변수 10억개(1B), 2억 7000만개(270M), 100만개(1M) 세 가지 크기로 나뉘며, 스마트폰과 노트북, 마이크로컨트롤러(MCU)에서도 구동 가능하다.서버용 거대 언어모델을 단순 축소한 것이 아니라 SRAM과 메모리 대역폭, 전력, 지연 시간이 제한된 온디바이스 환경을 고려해 설계된 것이 특징이다. 가중치와 배포 파일을 함께 공개한 오픈웨이트 모델로 기업
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:57AI 초안
