跳到正文
arXiv · 机器人与计算机视觉· Kai Liu, Jiangran Lyu, Tingyu Deng, Yixin Zheng, Jingtian Wan, Wenbo Cui, Mi Yan, Yizhou Zhou, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang·· 2026-10-12精选AI 评分83

世界动作模型需要何种视觉表征?R^2-WAM 实现具身智能新 SOTA

What Visual Representations Do World Action Models Need?

AI 导读

世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。

推荐理由

系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org