跳到正文
arXiv · 机器人与计算机视觉· Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang, Jieming Cui, Baoxiong Jia, Yizhou Wang, Siyuan Huang, Yixin Zhu·· 24 天前精选AI 评分82

ViT-H:基于生成式视频到类人控制的运动追踪反馈框架

ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

AI 导读

论文提出 ViT-H 框架,通过扩散模型直接从单目视频中生成类人参考动作,跳过中间的重构与重定向阶段,并利用运动追踪结果进行偏好优化以提升可执行性。该工作还引入了自回归变体以实现低于 400ms 延迟的实时遥操作。在 Unitree G1 机器人上的实验表明,ViT-H 在运动质量和可执行性方面均优于现有的重建 - 重定向 - 追踪流水线,且模型规模与数据规模的扩展效果良好。

推荐理由

ViT-H 框架通过生成式视频到类人控制范式,利用运动追踪反馈优化生成器,在 Unitree G1 上展现出优于传统流水线的运动质量与可执行性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org