arXiv · 机器人与计算机视觉· Jie Wang, Shilong Yang, Tao Zhou, Juan Yu, Rong Qu, Jianfeng Ren, Zhicheng Zhang, Linlin Shen·· 29 天前AI 评分66
EndoWorld-JEPA:面向内窥镜视频表示学习的运动引导全局 - 局部潜在世界建模
EndoWorld-JEPA: Motion-Guided Global-Local Latent World Modeling for Endoscopic Video Representation Learning
AI 导读
arXiv 发布 EndoWorld-JEPA,这是首个专为通用内窥镜视频表示学习设计的潜在世界模型预训练框架。该方法将被动视频预训练重构为因果运动引导的潜在状态预测,利用光流分离主导位移与残差运动,并通过全局 - 局部预测器在表示空间学习可预测的视觉 - 运动动态,无需重建随机外观伪影或依赖机器人运动学。评估显示其预训练检查点在四个下游基准上均表现出强迁移能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org