arXiv · 机器人与计算机视觉· Adam Hung, Bardienus P. Duisterhof, Deva Ramanan, Jeffrey Ichnowski·· 2026-10-12AI 评分63
ModAR:首个多模态自回归世界动作模型
Modality-Autoregressive World-Action Models
AI 导读
论文提出 ModAR,这是首个对多种未来模态(点轨迹、DINO 特征、深度图)进行自回归去噪后再预测动作的世界动作模型。实验表明,结合点轨迹和深度图能提升性能,而额外预测 RGB 图像收益不显著;ModAR 在三种真实双手任务上优于基线,平均成功率达 75%,且训练 FLOPs 约为视频初始化基线的二十分之一,无需预训练。
来源:arXiv · 机器人与计算机视觉 · arxiv.org