중국과학원 자동화연구소 등 공동연구진이 생물학적 뉴런의 이벤트 기반 발화 방식을 본뜬 대형언어모델 '스파이킹브레인'을 공개했다. 7B·76B 두 모델을 개발했으며, 7B 모델은 400만 토큰 입력에서 첫 토큰 생성 시간(TTFT)을 기존 대비 100배 이상 단축하고 69.15%의 연산 희소성을 구현했다. 76B 모델은 하이브리드 선형 어텐션과 전문가 혼합(MoE) 구조로 MMLU 73.58점 등 기존 트랜스포머 모델과 비슷한 성능을 보였으며, 엔비디아가 아닌 중국 메타엑스 GPU 클러스터에서 학습됐다. 연산량 자체를 줄이는 이벤트 기반 접근이 초장문 AI 처리의 새로운 방향이 될 수 있음을 시사한다.
- •스파이킹브레인-7B, 400만 토큰 입력에서 TTFT를 100배 이상 단축하고 69.15% 연산 희소성 구현
- •76B 모델은 하이브리드 선형 어텐션+MoE 결합, 실제 활성 파라미터는 약 120억개
- •큐원2.5-7B를 변환해 약 1600억 토큰만으로 지속 사전학습, 처음부터 학습 대비 데이터 2% 미만 소요
- •엔비디아 대신 중국 메타엑스 C550 GPU 수백 장 클러스터에서 수주간 안정적 학습, MFU 23.4% 기록
- •압축 모델을 모바일 CPU에 배포해 25만6000 토큰에서 15.39배 속도 향상 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
[AI 리뷰] “AI도 뇌처럼 연산한다”…중국과학원, 400만 토큰서 100배 가속한 ‘스파이킹브레인’
![[AI 리뷰] “AI도 뇌처럼 연산한다”…중국과학원, 400만 토큰서 100배 가속한 ‘스파이킹브레인’](https://cdn.aitimes.kr/news/thumbnail/202610/42175_63411_353_v150.jpg)
- 1.중국과학원 등 공동개발 '스파이킹브레인-7B', 400만 토큰 입력서 TTFT 100배 이상 단축
- 2.적응형 스파이킹 뉴런으로 69.15% 희소성 구현, 필요한 순간에만 연산하는 이벤트 기반 구조 적용
- 3.76B 모델은 MoE+하이브리드 어텐션 결합, MMLU 73.58점으로 라마2·믹스트럴급 성능 확보
- 4.엔비디아 아닌 메타엑스 GPU 수백 장으로 수주간 안정 학습, FP16 대비 에너지 97.7% 절감 추정
왜 중요한가?
트랜스포머의 '모든 순간 연산' 구조를 선형·하이브리드 어텐션과 스파이킹 뉴런으로 대체해 초장문 처리의 연산·메모리 부담을 줄였다는 점에서, 파라미터 확장 중심의 AI 스케일링 경쟁에 효율 중심의 대안 축을 제시한다. 엔비디아 외 GPU에서도 대규모 모델을 안정적으로 학습했다는 점은 AI 인프라 다변화 가능성도 보여준다.
본문 미리보기
중국 연구진이 인간 뇌의 신경세포가 필요한 순간에만 신호를 발생시키는 방식에서 영감을 얻어, 대형언어모델(LLM)의 연산 구조를 바꾼 새로운 인공지능(AI) 모델을 공개했다.중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences)가 베이징 인공지능 아카데미(Beijing Academy of Artificial Intelligence), 저장대학교, 홍콩이공대학교 등 연구진과 공동 개발한 ‘스파이킹브레인(SpikingBrain)’은 기존 트랜스포머 기반 LLM의 긴 문맥
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:11AI 초안
