跳到正文
arXiv · 机器人与计算机视觉· Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao·· 27 天前精选AI 评分85

Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling (arXiv:2610.30724)

Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling

AI 导读

论文提出 VANE 框架,利用冻结语义分词器提供的固定嵌入空间进行下一帧预测,通过因果编码器总结过去观测以推断整个下一帧的表示,并辅以轻量生成解码器重建细粒度细节。

推荐理由

该工作提出基于嵌入空间的下一帧预测框架 VANE,在统一图像与视频建模及动作预期任务上取得 SOTA 效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org