跳到正文
arXiv · 机器人与计算机视觉· Xiujian Liang, Liuyuan Na, Zehao Du, Jiacheng Xu, Weixi Song, Mingyang Sun, Xingjun Ma, Cewu Lu, Jianhua Sun·· 28 天前AI 评分73

DepState-JEPA:面向视觉感知与操作的深度 grounded 状态表示学习

DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation

AI 导读

论文提出了 DepState-JEPA 架构,这是一种基于 V-JEPA 2.1 的双流 RGB-Depth 联合嵌入预测模型。该框架通过共享潜在状态 DepState 连接空间理解与动作条件预测,利用深度作为互补观测并将双模态锚定在度量 3D 空间中。研究通过射线条件读出、物体轨迹监督及校准的前向运动学来塑造状态学习,实验显示其在 RGB 编码器迁移、特征补全、视觉预报及操作成功率上表现更强。

来源:arXiv · 机器人与计算机视觉 · arxiv.org