러너웨이(Runway)가 실시간 AI 영상 생성 연구를 공개했다. 기존처럼 프롬프트를 입력하고 완성된 영상을 기다리는 대신, 사용자가 설명하는 동안 영상을 스트리밍 방식으로 생성하는 방식이다. 이 기술은 지난해 12월 공개한 첫 '범용 세계모델' GWM-1과 Gen-4.5를 기반으로 하며, 카메라 움직임·로봇 명령·오디오 등을 제어 입력으로 받는다. 언어모델과 달리 영상모델은 이전 프레임 위에 다음 프레임을 쌓는 구조라 작은 오류가 누적돼 큰 왜곡으로 번질 수 있는데, 러너웨이는 모델이 자신의 출력물로 학습해 스스로 편차를 교정하도록 훈련해 이 문제에 대응한다. 회사는 실시간 생성이 대기시간과 GPU 비용을 줄여 교육, 게임, 로보틱스 등에서 새로운 활용처를 열 것으로 기대하며, 엔비디아와 함께 첫 프레임을 100밀리초 이내에 전달하는 실시간 모델도 시연했으나 출시 일정은 밝히지 않았다.

• •GWM-1(범용 세계모델)과 Gen-4.5 기반으로 프롬프트 입력과 동시에 영상을 스트리밍 생성하는 방식 연구
• •영상모델은 이전 프레임에 의존해 오류가 누적되는 문제를 자기 출력물 기반 학습으로 교정하도록 훈련
• •실시간 생성으로 대기시간 단축과 GPU 비용 절감, 이전에는 채산성 없던 응용 분야도 가능해질 것으로 기대
• •교육·게임·로보틱스 등 즉각적 반응이 필요한 인터랙티브 응용을 최대 장기 활용처로 지목
• •엔비디아와 공동으로 100밀리초 이내 첨 프레임 전달하는 실시간 모델 시연, 출시 일정은 미정