跳到正文
arXiv · 机器人与计算机视觉· Hao Wu, Yuqi Li, Yizhou Zhao, Kun Wang, Xiao Luo, Yu Cheng, Bo An, Yingli Tian, Laszlo A. Jeni, Ming-Hsuan Yang·· 13 天前精选AI 评分78

RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

Learning Robotic World Models with Semantic and Visual Feedback

AI 导读

论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

推荐理由

该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org