arXiv · 机器人与计算机视觉· Jewon Yeom, Hanseul Kim, Jeongjae Park, Sungmok Jung, Jaejin Lee, Taesup Kim·· 22 天前精选AI 评分85
视频世界模型的潜变量为何与动作相关:预测优于重建
What Makes Video World Model Latents Action-Relevant: Prediction over Reconstruction
AI 导读
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由
该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
来源:arXiv · 机器人与计算机视觉 · arxiv.org