Fovea-JEPA:克服 V-JEPA 的几何盲区以进行相机运动识别
论文提出 Fovea-JEPA 模型,旨在解决联合嵌入预测架构(如 V-JEPA)在相机运动识别任务中存在的几何线索缺失问题。研究指出 V-JEPA 依赖语义线索而忽视几何证据,导致在某些运动类别上表现下降;通过引入几何导向的 VGGT 预测器并基于其误差构建干预伪标签,该方法实现了视觉与几何特征的自适应融合。
推荐理由:针对 V-JEPA 在几何线索上的盲区,提出 Fovea-JEPA 通过弱监督干预融合几何特征,在多基准测试中显著超越现有基线。