arXiv · 机器人与计算机视觉· Jacob Berg, Chuning Zhu, Yanda Bao, Ishan Durugkar, Abhishek Gupta·· 22 天前AI 评分72
语义世界模型:一种基于视觉问答的机器人规划新范式
Semantic World Models
AI 导读
该论文提出语义世界模型方法,主张不预测未来像素而是预测任务相关的语义信息,将世界建模转化为视觉问答问题以利用视觉语言模型工具。通过在图像 - 动作 - 文本数据上监督微调预训练视觉语言模型,实现了决策规划的泛化与鲁棒性。研究在模拟机器人任务中验证了该方法优于传统的基于重建的动作条件世界建模范式。
来源:arXiv · 机器人与计算机视觉 · arxiv.org