从视频帧到机器人元帧:面向世界动作模型的统一潜在接口
该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。
推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。