엔비디아가 MIT, 옥스퍼드대와 공동으로 영상 생성 AI의 물리적 타당성을 높이는 오픈 프레임워크 '파이시스-랭(Physis-Lang)'을 공개했다. 기존 캡션이 현상만 설명했다면 파이시스-랭은 원인과 물리 법칙, 상호작용까지 설명하는 언어로 캡션을 작성하고, 모델이 취약한 물리 영역을 찾아 관련 데이터를 보강하는 방식을 적용했다. 평가용 벤치마크 '파이캡벤치'에서 캡션 F1 점수가 78.64에서 87.82로 올랐고, 학습 데이터를 18만3000개로 확대한 결과 주요 벤치마크 평균 성능이 3.01포인트 개선됐으며, 가벼운 오픈소스 모델 '코스모스3 나노'에 적용했을 때는 구글의 대형 상용 모델 '비오 3.1'을 대부분의 벤치마크에서 압도했다. 또한 GPT 기반 추론 능력을 40억 매개변수급 경량 모델로 이전해 상용 모델 대비 비용을 2만4120달러에서 120달러 수준으로 낮췄다고 밝혔다.
- •엔비디아·MIT·옥스퍼드, 영상 생성 AI용 물리 추론 프레임워크 '파이시스-랭' 공개
- •언어 자체로 물리 법칙·인과관계를 설명하는 캡션 생성 방식 적용
- •파이캡벤치 캡션 F1 점수 78.64→87.82로 상승, 학습데이터 18만3000개로 확대
- •경량 오픈소스 모델 '코스모스3 나노'에 적용 시 구글 '비오 3.1' 상회하는 성능
- •GPT 기반 추론을 경량 모델로 이전해 비용 2만4120달러→120달러로 절감
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
엔비디아, 물리 법칙 배우는 영상 생성 프레임워크 ‘파이시스-랭’ 공개
- 1.엔비디아·MIT·옥스퍼드, 언어 기반 물리학 추론 영상생성 프레임워크 '파이시스-랭' 공개
- 2.파이캡벤치서 캡션 F1 78.64→87.82, 학습데이터 18만3000개로 확대해 벤치마크 평균 3.01점 향상
- 3.코스모스3 나노에 적용 시 파이젠벤치 61.67→71.04점 등 지표 상승, 구글 '비오 3.1' 대부분 압도
- 4.GPT 기반 추론 능력을 40억 매개변수 모델로 이전, 비용을 2만4120달러에서 120달러로 절감
왜 중요한가?
영상 생성 AI가 취약했던 물리 법칙 이해를 모델 구조 변경이나 대규모 재학습 없이 언어 기반 추론만으로 크게 개선했다는 점에서, 경량 오픈소스 모델도 상용 대형 모델을 뛰어넘을 수 있음을 보여준다.
엔비디아가 물리 법칙을 학습하는 영상 생성 프레임워크 '파이시스-랭'을 공개한 것은 AI 생성 영상의 사실성을 한 단계 끌어올리는 중요한 발전입니다. 이는 국내 미디어, 게임, 교육 및 산업 시뮬레이션 분야에서 AI 기반 콘텐츠 제작의 품질을 혁신하고 현실감을 극대화하는 데 크게 기여할 수 있습니다.
본문 미리보기
영상 생성 AI가 현실과 구분하기 어려울 정도로 정교한 영상을 만들어내고 있지만, 물리 법칙까지 제대로 이해하는 것은 여전히 과제로 남아 있다. 엔비디아가 영상 속 물체의 움직임과 상호작용, 원인과 결과를 물리학적 관점에서 이해하도록 돕는 새로운 접근법을 내놨다. 엔비디아는 30일(현지시간) 영상 생성 AI가 실제 물리 법칙을 더 잘 반영하도록 돕는 오픈 프레임워크 ‘파이시스-랭(Physis-Lang)’을 공개했다.영상이 겉보기에는 그럴듯하더라도, 물체가 벽을 통과하거나 버터가 물감처럼 퍼지는 등 현실에서는 불가능한 장면을 만들어내
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
