跳到正文
arXiv · 机器人与计算机视觉· Seungyong Lee, Suhyeok Jang, Minyoung Kim, Jinwoo Shin·· 15 天前AI 评分72

通过虚拟试穿从人类视频中合成灵巧机器人演示

Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

AI 导读

论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。

来源:arXiv · 机器人与计算机视觉 · arxiv.org