跳到正文
arXiv · 机器人与计算机视觉· Tianling Xu, Weijie Wan, Honghao Su, Kailun Su, Junyuan Tang, Huichi Zhou, Haozheng Zhang, Qi Xiong, Ping Luo, Wenbo Ding, Tianxing Chen, Yue Chen·· 24 天前精选AI 评分78

WorldMirror:基于野外机器人演示的交互式世界代理式实到仿真生成

WorldMirror: Agentic Real-to-Sim Generation of Interactive Worlds from In-the-Wild Robot Demonstrations

AI 导读

针对机器人学习仿真中场景构建繁琐的问题,该研究提出了 WorldMirror 框架,将实到仿真(real-to-sim)构建定义为可执行世界程序的迭代优化过程。通过智能体分解观测场景、规划重建步骤并编排图像与三维生成工具,结合相机位姿锚定的场景表示来诊断和修正错误,从而从野外机器人演示中生成视觉保真且几何一致的交互式数字孪生,同时保持记录轨迹的物理有效性。

推荐理由

提出将实到仿真构建视为可执行程序的迭代优化,利用智能体编排工具生成物理一致的数字孪生。

来源:arXiv · 机器人与计算机视觉 · arxiv.org