arXiv · 机器人与计算机视觉· Yexin Hu, Dongheui Lee·· 27 天前AI 评分75
V2-STRep:基于视觉语言模型的生成视频结构化任务表示用于可复用的机器人技能获取
V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
AI 导读
该论文提出 V2-STRep 零样本框架,将生成视频的单一运动转化为可复用的机器人技能。方法利用视觉语言模型提供 2D 图像线索并结合 RGB-D 观测重构 3D 几何与抓取位姿,通过几何规则迁移运动并耦合轨迹优化以适配关节限制。实验在六个真实操作任务上验证了该方法相比基线提升了执行成功率,实现了技能的跨场景可靠转移及对变更部署指令的自适应。
来源:arXiv · 机器人与计算机视觉 · arxiv.org