arXiv · 机器人与计算机视觉· Minseong Kweon, Qiao Feng, Yiming Huang, Lingjie Liu·· 29 天前AI 评分73
Touch-JEPA:基于有限触觉监督的手物交互视频触觉表征学习框架
Touch-JEPA: Tactile Representation Learning from Hand-Object Video with Limited Tactile Supervision
AI 导读
Touch-JEPA 是一种从手物交互视频中学习触觉表征的框架,旨在解决触觉测量成本高、覆盖受限的问题。该方法首先引入自监督预训练目标,仅利用视频数据预测手部表面位置的掩码视觉特征以捕捉潜在接触动力学;随后扩展为联合表征学习,在全部视频上进行掩码预测的同时,仅在标注子集上使用触觉数据进行监督,将共享表征锚定在实际测量的接触与强度上。
来源:arXiv · 机器人与计算机视觉 · arxiv.org