NVIDIA가 40억 파라미터 오픈 월드 모델 Cosmos 3 Edge를 Hugging Face에 공개했다. 로봇과 비전 AI 에이전트가 엣지 디바이스에서 주변 환경을 이해하고 실시간 추론하며 로봇 동작을 생성하도록 설계됐고, Jetson Thor에서 추론 1회당 32개 동작을 생성해 15Hz 실시간 제어를 달성한다. 이해·추론용 자기회귀 타워와 예측·생성용 디퓨전 타워가 멀티모달 어텐션을 공유하는 구조로, 동급 4B 모델 중 VANTAGE-Bench 비전 분석 1위를 기록했다. DROID 데이터셋 기반 pick-and-place 정책 체크포인트와 디퓨전 스텝을 35~50회에서 4회로 줄여 최대 25배 빠른 Cosmos 3 Super 4-Step 증류 체크포인트도 함께 공개됐다. 데이터센터급 월드 모델을 온디바이스로 가져와 스마트 인프라·로보틱스 개발 진입 장벽을 낮췄다는 점에서 의미가 크다.
- •4B 파라미터 오픈 월드 모델로 RTX PRO, DGX, GeForce RTX, Jetson(신형 T2000·T3000 포함) 등 NVIDIA 엣지 하드웨어에서 메모리 효율적 고처리량 추론 지원
- •640×360 해상도에서 Jetson Thor 기준 추론당 32개 동작 생성, 15Hz 실시간 로봇 제어 달성
- •자기회귀 타워(비전·텍스트 추론)와 디퓨전 타워(비전·오디오·액션 생성)가 멀티모달 어텐션 레이어를 공유하는 이중 트랜스포머 구조
- •차량·카메라·로봇팔 등 서로 다른 임베디먼트의 동작을 이동·회전·조작 상태의 공통 기하 벡터로 인코딩해 픽셀 변화와 물리적 제어를 직접 연결
- •DROID 기반 정책 체크포인트, 포스트트레이닝 스크립트, 디퓨전을 4스텝으로 줄여 최대 25배 빠른 Cosmos 3 Super 증류 체크포인트 동시 공개
Introducing Cosmos 3 Edge
- 1.NVIDIA가 4B 파라미터 오픈 월드모델 Cosmos 3 Edge를 Hugging Face에 공개, 엣지 기기에서 로봇 추론·행동 생성 지원
- 2.Jetson Thor에서 추론당 32개 행동 생성·15Hz 실시간 제어, 동급 4B 모델 중 VANTAGE-Bench 1위
- 3.자기회귀 타워와 디퓨전 타워가 멀티모달 어텐션을 공유하는 이중 트랜스포머 구조로 추론과 생성·행동을 통합
- 4.DROID 기반 조작 정책 체크포인트와 디퓨전 35~50스텝→4스텝 증류(최대 25배 가속) 레시피 동반 공개
왜 중요한가?
데이터센터급 월드모델 능력을 메모리 제약이 큰 엣지 기기로 가져와, 공장·창고·병원 현장 로봇의 온디바이스 실시간 제어를 오픈 웨이트로 구현할 수 있게 됐다. 행동→결과 예측과 결과→행동 추론을 하나의 공유 표현으로 통합해 로봇 정책 학습·평가 파이프라인을 단순화한 점이 핵심 진전이다.
🏷️ 언급 프로젝트
'코스모스 3 엣지'의 등장은 엣지 AI 기술의 발전을 암시하며, 이는 국내 스마트팩토리, 자율주행 등 다양한 산업 분야에 중요한 영향을 미칠 수 있습니다. 한국 기업들은 엣지 디바이스에서의 AI 성능 최적화와 관련 인프라 구축 경쟁에서 뒤처지지 않도록 이 새로운 기술 동향을 주목해야 합니다. 이러한 기술 혁신이 가져올 효율성 증대와 새로운 비즈니스 기회 창출에 대한 심층적인 분석이 필요합니다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요