跳到正文
arXiv · 机器人与计算机视觉· Zihao Lu, Trong Gia Hung Nguyen, Fuquan Wang, Yifan Zhu·· 3 天前精选AI 评分78

Objectives as Policies:面向接触丰富操作的视觉语言模型成本程序框架

Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation

AI 导读

该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。

推荐理由

提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。

来源:arXiv · 机器人与计算机视觉 · arxiv.org