리퀴드 AI가 스마트폰부터 라즈베리 파이 같은 저전력 임베디드 기기까지 로컬 환경에서 구동할 수 있는 26억개 매개변수의 에이전트 특화 언어모델 'LFM2.5-2.6B'를 공개했다. 34조개 토큰으로 사전학습하고 12만8000 토큰의 컨텍스트 창과 네이티브 도구 호출을 지원하며, 도구 사용 평가 '툴샌드박스'에서 77.83점을 기록해 4배 가까이 큰 '큐원3.5-9B'(76.44점)를 앞섰다. 애플 M5 맥스에서 초당 약 220토큰, 스마트폰에서도 초당 30토큰을 처리하면서 메모리 사용량을 2.5GB 이하로 유지해 클라우드 API 없이도 개인정보 보호와 낮은 지연시간을 구현한다. 다만 연 매출 1000만달러를 초과하는 기업은 별도 상용 라이선스 계약이 필요해 완전한 자유 사용 라이선스는 아니다.
- •26억 매개변수 에이전트 특화 모델, 스마트폰~라즈베리 파이까지 로컬 구동 지원
- •툴샌드박스 벤치마크 77.83점으로 4배 큰 큐원3.5-9B(76.44점) 상회
- •애플 M5 맥스 초당 220토큰, 스마트폰 초당 30토큰, 메모리 사용량 2.5GB 이하
- •클라우드 API 미사용으로 토큰 비용 없이 로컬 추론, 민감정보 외부 유출 차단
- •연매출 1000만달러 초과 기업은 별도 상용 라이선스 계약 필요
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
리퀴드 AI, 라즈베리 파이서 구동되는 소형 에이전트 모델 'LFM2.5-2.6B' 공개
본문 미리보기
리퀴드 AI가 스마트폰과 노트북은 물론 라즈베리 파이 같은 저전력 임베디드 기기에서도 구동할 수 있는 소형 에이전트 특화 언어 모델을 공개했다. 클라우드 서버에 의존하지 않고 기기 자체에서 AI 에이전트를 실행할 수 있도록 설계해 개인정보 보호와 낮은 지연시간, 추론 비용 절감을 동시에 노린 것이 특징이다.리퀴드 AI는 4일(현지시간) 26억개의 매개변수를 갖춘 에이전트 특화 모델 'LFM2.5-2.6B'를 공개했다.기본 모델인 'LFM2.5-2.6B-베이스'와 후처리된 LFM2.5-2.6B를 함께 제공하며, 두 모델 모두 허깅페이
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:57AI 초안
