跳到正文
arXiv · 机器人与计算机视觉· Yimin Han, Jiahui Zhang, Wanyue Li, Zeren Luo, Yeke Chen, Liu Zhao, Peizhuo Li, Xiaoyu Ji, Shihao Dong, Xuechao Chen, Zhangguo Yu, Annan Tang, Peng Lu·· 2 天前精选AI 评分78

MoViC:基于单目视频的实时人形机器人全身控制

MoViC: Real-Time Humanoid Whole-Body Control from Monocular Video Streams

AI 导读

论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

推荐理由

该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

来源:arXiv · 机器人与计算机视觉 · arxiv.org