跳到正文
arXiv · 机器人与计算机视觉· Qingzhou Lu, Chenxin Liu, Xinming Wang, Liu Cao, Yanjiang Guo, Mengdi Xu, Jianyu Chen·· 13 天前精选AI 评分78

HITCH:教视觉语言模型通过全身 harness 操控人形机器人

HITCH: Teaching a Vision-Language Model to Operate a Humanoid through a Whole-Body Harness

AI 导读

论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。

推荐理由

提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。

来源:arXiv · 机器人与计算机视觉 · arxiv.org