AMD가 AI 모델을 칩에 직접 하드코딩하는 방식의 추론 반도체를 만드는 캐나다 스타트업 탈라스(Taalas)를 인수한다. 2023년 토론토에서 설립된 탈라스는 지난 2월 스텔스에서 벗어나며, 모델의 아키텍처와 학습된 파라미터를 칩에 직접 새겨 넣는 독특한 방식을 선보였다. 이 기술을 적용한 데모 칩은 라마 3.1-8B 모델 기준 사용자당 초당 1만6000토큰 이상을 처리해 경쟁 하드웨어보다 월등히 빠른 속도를 기록했지만, 칩 하나가 하나의 모델에만 묶이는 한계가 있다. AMD는 이 기술을 자사 가속기 로드맵에 통합해 인스팅트 GPU와 함께 시스템 수준의 솔루션으로 제공할 계획이며, 구글도 제미나이용 유사 칩을 개발 중인 것으로 알려졌다.
- •AMD, 모델 파라미터를 칩에 직접 하드코딩하는 캐나다 스타트업 탈라스를 인수
- •탈라스 데모 칩, 라마 3.1-8B 기준 사용자당 초당 1만6000토큰 이상 처리해 경쟁 하드웨어 압도
- •칩이 단일 모델에 고정되는 한계가 있으나 극한의 추론 속도로 새로운 하드웨어 접근법 제시
- •AMD는 이 기술을 인스팅트 GPU와 병행하는 시스템 솔루션으로 통합할 계획, 구글도 유사 칩 개발 중
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AMD acquires Taalas, a startup that bakes AI models directly into silicon
본문 미리보기
AMD is buying Canadian startup Taalas, which hard-codes model weights directly into inference chips. That makes them extremely fast but locks each chip to a single model. A demo chip hit over 16,000 tokens per second per user running Llama 3.1-8B. Google is reportedly working on a similar approach for Gemini. The article AMD acquires Taalas, a startup that bakes AI models directly into silicon appeared first on The Decoder.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:52AI 초안
