跳到正文
arXiv · 机器人与计算机视觉· Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Yue Luo, Jialin Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou·· 13 天前AI 评分72

VTAM:无需触觉预训练的接触丰富操作高效视觉 - 触觉世界动作模型

VTAM: Efficient Visuo-Tactile World-Action Models for Contact-Rich Manipulation without Tactile Pretraining

AI 导读

VTAM 是一种针对接触丰富操作的视觉 - 触觉世界动作模型,无需触觉或动作预训练即可工作。该模型共享冻结的视频 VAE 和预训练视频 Transformer 权重,先适配以联合预测未来视觉与触觉潜变量,再端到端微调以预测动作、本体状态及基于触觉光流计算的轻量力流代理。

来源:arXiv · 机器人与计算机视觉 · arxiv.org