跳到正文
arXiv · 机器人与计算机视觉· Jisoo Kim, Sangwon Baik, Taeksoo Kim, Sungjoo Kim, Junyoung Lee, Mingi Choi, Kisang Park, Sungjoon Choi, Hanbyul Joo·· 29 天前AI 评分75

ZeroDex:基于多视角 3D 定位的零样本长程灵巧操作框架

ZeroDex: Zero-Shot Long-Horizon Dexterous Manipulation via Multi-View 3D-Grounded VLM Reasoning

AI 导读

论文提出了 ZeroDex 框架,该框架通过校准的多视角 RGB 图像将语言指令转化为可执行的 3D 任务计划,实现了无需演示的零样本长程灵巧操作。系统利用 VLM 的 grounding 能力扩展至物理量(如接触点、放置目标),并将复杂指令分解为原子任务执行;在真实世界实验中,其 3D 定位精度和任务成功率优于仅基于单视角的视觉提示及约束基线,且无需针对特定任务或本体进行微调。

来源:arXiv · 机器人与计算机视觉 · arxiv.org