arXiv · 机器人与计算机视觉· Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao·· 27 天前精选AI 评分85
Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling (arXiv:2610.30724)
Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling
AI 导读
论文提出 VANE 框架,利用冻结语义分词器提供的固定嵌入空间进行下一帧预测,通过因果编码器总结过去观测以推断整个下一帧的表示,并辅以轻量生成解码器重建细粒度细节。
推荐理由
该工作提出基于嵌入空间的下一帧预测框架 VANE,在统一图像与视频建模及动作预期任务上取得 SOTA 效果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org