跳到正文
热点事件持续更新

Ego2X 框架发布,实现第一人称视频到任意机器人的物理可执行数据转换

2 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

研究团队提出 Ego2X 框架,通过引入记录表面锚点、相对力及抓取模式的 CORE(基于接触的物体交互表示),修正手物漂移并引导逆运动学以实现真实接触。实验显示,该方法在 HOT3D 数据集上将接触深度误差降低 33.7%,在 EgoDex 上实现了 62.9% 的标注接触点,优于官方 HuRo 流程(27.9%)。基于该框架生成的数据对 X-VLA 模型进行后训练,使任务成功率从 40.5% 提升至 67.0%,且无需仿真演示。团队将公开发布 Ego2X 转换流程及针对灵巧手与平行夹爪的 CORE-标注数据集。

AI 根据报道生成 · 11 小时前更新

事件进展

2 个进展

  1. 11月19日 13:00 · 1 篇报道
    Ego2X 框架实现从第一人称视频到任意机器人的物理可执行数据转换
    arXiv · 机器人与计算机视觉:Ego2X:基于接触感知的从第一人称人类数据到任意机器人的迁移框架
  2. 11月19日 13:00 · 1 篇报道
    SHAPE:基于离散监督与并行连续流的自视角人类数据灵巧操作学习方法
    arXiv · 机器人与计算机视觉:SHAPE:基于离散监督与并行连续流的自视角人类数据灵巧操作学习方法

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · 机器人与计算机视觉
    Ego2X:基于接触感知的从第一人称人类数据到任意机器人的迁移框架

    Embodied models depend on real interaction data, yet collecting it on physical robots is slow and labor-intensive. Recent ego-to-robot pipelines retarget first-person view human videos to robot data via transferring hand and arm motion. They judge fidelity mainly by visual appearance. However, trajectories often fail in terms of physics: fingers hover beside objects, and grippers close on empty space. We argue that how the object moves and the contacts that drive the motion count. Thus, we present Ego2X, an object-centric framework that converts monocular egocentric video into physically executable robot data across dexterous hands and parallel grippers. Ego2X centers on CORE (Contact-centric Object-interaction REpresentation), which records each contact on the object by its surface anchor, as well as relative force, grasp mode, and interaction state. Throughout the pipeline, CORE corrects hand-object drift via object-relative constraints, steers inverse kinematics toward contacts the robot must realize, and preserves held objects during arm erasure and robot compositing. On HOT3D, contact-driven correction reduces in-contact hand depth error by 33.7%, while on EgoDex, contact-driven retargeting realizes 62.9% of annotated contacts, surpassing the official HuRo pipeline (27.9%). In RoboTwin 2.0, post-training X-VLA on Ego2X episodes alone, without simulator demonstrations, raises task success rate from 40.5% zero-shot to 67.0% across 200 paired scenes. We will publicly release our conversion pipeline and CORE-annotated dataset for dexterous hands and parallel grippers.

  2. arXiv · 机器人与计算机视觉
    SHAPE:基于离散监督与并行连续流的自视角人类数据灵巧操作学习方法

    论文提出 SHAPE(Supervision from Human Action tokens with Parallel Executable streams)模型,旨在利用廉价的人类自视角记录进行机器人预训练和技能学习,解决人与机器人形态运动学差异导致的监督缺失问题。

本事件热度走势

可比范围当前
7
可比范围峰值
911月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。