arXiv · 机器人与计算机视觉· Huang Huang, Wensi Ai, Ziyu Chen, Youhui Wang, Zijian Du, Yang Liu, Jiaolong Yang, Li Fei-Fei, Jiajun Wu·· 2026-10-08AI 评分73
RoboRender:面向机器人的视频生成与视觉仿真到现实迁移
RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer
AI 导读
为了解决仿真策略迁移至现实世界时因视觉差异导致的失败问题,研究团队提出了 RoboRender 框架。该框架利用深度图、语言指令和机器人 RGB 掩码视频作为条件,训练出能生成逼真 RGB 视频的模型,同时保留几何结构与动作标签。在抓取与移动操作等真实任务中,基于该数据训练的零样本策略平均成功率为 71%,相比原始渲染提升约 7.1 倍,相比传统域随机化提升约 3.6 倍。
来源:arXiv · 机器人与计算机视觉 · arxiv.org