跳到正文
arXiv · 机器人与计算机视觉· Weile Li, Yunfan Lou, Muqing Shi, Zihao Zhang, Zhenbiao Huang, Boxian Yao, Xiyu Zhu, Zhibo Pang·· 4 小时前AI 评分69

TacInno:让视觉语言动作模型掌握超越视觉与动作的接触动力学

TacInno: Teaching Vision-Language-Action Models the Contact Dynamics Beyond Vision and Action

AI 导读

针对视觉 - 触觉 VLA 模型依赖不足的问题,本文提出 TacInno 方法,通过隔离并预测视觉和已执行动作无法解释的未来触觉变化(即触觉创新)作为训练目标。该方法在六个仿真任务和四个真实世界任务中平均成功率分别达到 87.5% 和 70.5%,优于最强基线。消融实验验证了视觉与动作条件、多帧编码及辅助代码预测的贡献,证明触觉创新信号对接触丰富操作的有效性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org