跳到正文
arXiv · 机器人与计算机视觉· Zixuan Huang, Jinhao Yu, Zachary Charlick, Dmitry Berenson·· 10 天前AI 评分58

MDF++:具备端到端表征学习的视觉 - 触觉世界动作模型

MDF++: Visuo-Tactile World Action Model with End-to-end Representation Learning

AI 导读

针对现有世界动作模型依赖冻结预训练编码器导致表征不适配机器人控制的问题,本文提出 MDF++,一种基于扩散骨干网络的视觉 - 触觉世界动作模型。该方法通过多任务学习策略利用跨模态相关性解决联合训练的特征坍塌问题,并在螺栓拧入和螺母配对等接触丰富操作任务上评估,结果显示其性能优于基于冻结预训练表征的世界动作模型基线,提升幅度最高达 50%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org