arXiv · 机器人与计算机视觉· Guoqiang Liang, Yiqi Lin, Yanzhe Chen, Kevin Yuchen Ma, Mike Zheng Shou·· 8 天前精选AI 评分83
从视频帧到机器人元帧:面向世界动作模型的统一潜在接口
From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models
AI 导读
该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。
推荐理由
提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。
来源:arXiv · 机器人与计算机视觉 · arxiv.org