arXiv · 机器人与计算机视觉· Qingzhou Lu, Chenxin Liu, Xinming Wang, Liu Cao, Yanjiang Guo, Mengdi Xu, Jianyu Chen·· 13 天前精选AI 评分78
HITCH:教视觉语言模型通过全身 harness 操控人形机器人
HITCH: Teaching a Vision-Language Model to Operate a Humanoid through a Whole-Body Harness
AI 导读
论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。
推荐理由
提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。
来源:arXiv · 机器人与计算机视觉 · arxiv.org