arXiv · 机器人与计算机视觉· Paul Pacaud, Ricardo Garcia, Shizhe Chen, Cordelia Schmid·· 23 天前精选AI 评分78
Guardian:利用视觉语言模型检测机器人规划与执行错误
Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models
AI 导读
针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。
推荐理由
提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。
来源:arXiv · 机器人与计算机视觉 · arxiv.org