arXiv · 机器人与计算机视觉· Jeremy Collins, Namra Patel, Ayush Agarwal, Shitij Govil, Animesh Garg·· 15 天前精选AI 评分83
FloMo:将3D场景流作为世界动作模型的中间层以学习人类视频数据
FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video
AI 导读
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由
提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
来源:arXiv · 机器人与计算机视觉 · arxiv.org