arXiv · 机器人与计算机视觉· Chun Gu, Xiaofei Wei, Yiming Chen, Juntong Zhang, Li Zhang·· 23 天前精选AI 评分83
X-World:将视频先验迁移至可变视角机器人控制框架
X-World: Transferring Video Priors to Variable-View Robot Control
AI 导读
该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。
推荐理由
该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org