연구팀은 텍스트-투-비디오 생성 모델이 시각적 요소는 맞게 만들어도 순서·타이밍·지속성 같은 시간적 요구사항을 어기는 문제를 해결하기 위해 '시간 명세 가이던스(TSG)'를 제안했다. 시간 논리(Temporal Logic)로 요구사항을 명세하고, 미분 가능한 정량적 의미론으로 비디오-텍스트 어텐션 흐름을 채점해 샘플링 중 디노이징 방향을 조정하는 추론 시점 전용 기법이다. 별도의 개념 분류기나 비디오 트랜스포머 역전파 없이도 동작하며, 11개 범주·220개 프롬프트 벤치마크에서 5개 모델에 걸쳐 분류기 프리 가이던스보다 명세 충족도를 9.5~20%포인트 향상시켰다. 메모리 오버헤드도 미미해 비디오 생성 제어의 새로운 인터페이스로서 가능성을 보여준다.
- •시간 논리(Temporal Logic)로 순서·타이밍·지속성 요구사항을 명세하는 TSG 프레임워크 제안
- •학습 없이 추론 시점에만 적용되며 어텐션 트레이스 기반 미분 가능한 점수로 디노이징 방향 생성
- •별도 분류기나 비디오 트랜스포머 역전파 불필요, 메모리 오버헤드 최소
- •220개 프롬프트·11개 범주 벤치마크에서 CFG 대비 9.5~20%포인트 성능 향상
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Temporal Specification Guidance for Text-to-Video Generation
- 1.자연어 프롬프트의 순서·타이밍·지속성 요구를 형식 시간논리로 표현해 비디오 생성을 가이드하는 TSG 제안
- 2.학습 없이 추론 시점에 적용 가능, 비디오-텍스트 어텐션 트레이스로 시간논리 만족도를 미분 가능하게 점수화
- 3.외부 개념 분류기나 비디오 트랜스포머 역전파 없이 어텐션 편향만으로 디노이징 방향 구성
- 4.11개 시간 제약 범주·220개 프롬프트서 5개 모델 대상 CFG 대비 9.5~20%p 정확도 개선
왜 중요한가?
텍스트-투-비디오 생성에서 자주 깨지는 '사건 순서·지속성' 문제를 추가 학습 없이 추론 단계에서 교정할 수 있다는 점에서, 비디오 생성 모델의 실용적 품질 개선 기법으로 바로 적용 가능하다.
본문 미리보기
arXiv:2610.20822v1 Announce Type: new Abstract: Text-to-video models often generate the visual concepts requested in natural language prompts but fail to satisfy their intended ordering, timing, and persistence requirements. We propose representing these requirements as specifications in a formal Temporal Logic, and introduce Temporal Specification Guidance (TSG), a training-free inference-time framework that turns temporal specifications into executable objectives for guiding video generation
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안