跳到正文
arXiv · 机器人与计算机视觉· Huang Huang, Wensi Ai, Ziyu Chen, Youhui Wang, Zijian Du, Yang Liu, Jiaolong Yang, Li Fei-Fei, Jiajun Wu·· 2026-10-08AI 评分73

RoboRender:面向机器人的视频生成与视觉仿真到现实迁移

RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer

AI 导读

为了解决仿真策略迁移至现实世界时因视觉差异导致的失败问题,研究团队提出了 RoboRender 框架。该框架利用深度图、语言指令和机器人 RGB 掩码视频作为条件,训练出能生成逼真 RGB 视频的模型,同时保留几何结构与动作标签。在抓取与移动操作等真实任务中,基于该数据训练的零样本策略平均成功率为 71%,相比原始渲染提升约 7.1 倍,相比传统域随机化提升约 3.6 倍。

来源:arXiv · 机器人与计算机视觉 · arxiv.org