跳到正文
arXiv · 机器人与计算机视觉· Mattia Scardecchia, Sherry Yang·· 23 天前精选AI 评分78

视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

Video World Models Need Predictable Latents

AI 导读

针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

推荐理由

提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

来源:arXiv · 机器人与计算机视觉 · arxiv.org