跳到正文
arXiv · 机器人与计算机视觉· Jianing Zhang, Chenhao Zheng, Yajun Yang, Max Argus, Rustin Soraki, Winson Han, Taira Anderson, Chun-Liang Li, Shuo Liu, Jiafei Duan, Zhongzheng Ren, Jieyu Zhang, Ranjay Krishna·· 29 天前AI 评分74

MolmoMotion:基于语言指令的 3D 点轨迹预测研究

MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction

AI 导读

论文提出了 MolmoMotion 框架,包含由 1.16M 视频构建的动作描述 3D 点轨迹数据集 MolmoMotion-1M、涵盖 111 类物体与 61 种运动类型的基准 PointMotionBench,以及支持自回归坐标预测和流匹配轨迹生成的通用模型。该模型在语言指令引导下能准确预测多样化运动模式,并在机器人操作训练效率及视频生成真实性方面展现出良好的迁移效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org