arXiv · 机器人与计算机视觉· Runjia Li, Minghao Chen, Junyu Xie, Philip Torr, Andrea Vedaldi, Tomas Jakab·· 8 天前AI 评分66
OnlyAct:从基础模型提取动作表示以构建世界模型
OnlyAct: Extracting Action Representations from Foundation Models for World Models
AI 导读
针对视频世界模型训练中动作监督稀缺且难以扩展的问题,本文提出 OnlyAct 方法。该方法不从头学习动作空间,而是利用预训练基础模型(V-JEPA)帧对嵌入中已包含的动作信息,通过无标签对比适应框架在保留场景不变性的同时提取动作表示。研究在机器人操作、相机导航、游戏和驾驶等基准上进行了统一评估,结果显示其生成的世界模型能将演示动作更忠实地迁移到新场景中。
来源:arXiv · 机器人与计算机视觉 · arxiv.org