arXiv · 机器人与计算机视觉· Yangchen Zhao, Ali Payani, Caiwen Ding·· 54 分钟前AI 评分74
MV-JEPA:用于跨视角理解的后期训练视频编码器
MV-JEPA: Post-Training Video Encoders for Cross-View Understanding
AI 导读
MV-JEPA 提出一种基于多视图预测的后期训练方法,旨在解决标准预训练中未显式利用同一物体或时刻的多摄像头配对视图的问题。该方法在共享编码器上交替进行跨视图预测和单视图掩码预测,仅需在单个 GPU 上进行 9,000 次更新即可提升跨视角实例检索、粗略跨相机时刻检索以及在 AE2 上的零样本动作阶段检索和冻结特征分类性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org