跳到正文
arXiv · 机器人与计算机视觉· Keru Zhou, Zhirui Fang, Xinrun Xu, Yaopeng Lou, Zeyuan He, Zihao Zhu, Xinze Niu, Chen Wang, Tianfu Li, Samith Va, Xiyue Zhang, Bin Qian, Junwei Li, Wenjia Ding, Yicheng Xu, Bowen Jiang, Wenhao Wang, Ziwei Wang, Chang Zhou, Li Liu, Xiu Li, Maoqing Yao·· 22 天前AI 评分66

Ego-CEVR:从人类第一视角视频中学习跨具身视觉表征

Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos

AI 导读

论文提出了 Ego-CEVR 数据原生框架,旨在将低成本的人类第一视角视频转化为机器人操作能力。该框架包含全局模块和交互模块,分别通过未来预测学习物体关系与任务状态,以及结合腕部观测学习局部对齐与接触线索。系统支持在大规模人类第一视角视频及多样化机器人具身视频上独立预训练全局模块,无需机器人动作标签或成对的腕部观测数据。

来源:arXiv · 机器人与计算机视觉 · arxiv.org