arXiv · 机器人与计算机视觉· Meng Cao, Can Zhao, Jinjie Wei, Haonan Zhao, Yulong Zhang, Duo Han, Xiaofan Li, Ziwu Song, Rongtao Xu, Ruyi Gan, Hao Wang, Qian Wang, Daolin Ma, Ian Reid, Xiaodan Liang·· 2026-10-16AI 评分65
EgoJEPA:超越重定向的以第一人称视频灵巧操作方法
EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos
AI 导读
针对从第一人称人类视频中迁移操作先验的挑战,本文提出 EgoJEPA 框架,通过三阶段学习无需手工映射的具身无关表示:首先进行效果感知的手部动作预训练;其次联合预测视觉动态与潜在动作以实现世界建模;最后利用轻量级适配器适配不同机器人。在三个平台上的五项真实任务实验中,该方法在域外评估下平均成功率为 74%,优于重定向基线的 65%,并将跨具身累积耗时从 743.2 小时降至 392.7 小时。
来源:arXiv · 机器人与计算机视觉 · arxiv.org