arXiv · 机器人与计算机视觉· Yonghao Yu, Lang Huang, Runyi Li, Zerun Wang, Toshihiko Yamasaki·· 8 天前AI 评分68
Video-Mirai:自回归视频扩散模型需要前瞻性
Video-Mirai: Autoregressive Video Diffusion Models Need Foresight
AI 导读
论文提出 Video-Mirai 方法,旨在解决因果视频生成中因仅依赖过去信息导致的表示层规划缺口。该方法在训练阶段引入冻结的前瞻性编码器读取完整 rollout 结果,将未来帧作为监督目标蒸馏至当前状态,而推理时丢弃辅助模块以保持原有架构不变。实验显示,该方法在 VBench 总分上从 83.8 提升至 84.6,并在长序列生成中显著改善了主体与背景的一致性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org