arXiv · 机器人与计算机视觉· Zelin Gao, Hao Ouyang, Jiapeng Zhu, Qiuyu Wang, Jingye Chen, Zichen Liu, Xing Zhu, Yujun Shen, Yinghao Xu·· 23 天前AI 评分72
Mix Forcing:基于混合注意力的交互式视频世界模型的因果预训练
Mix Forcing: Causal Pre-Training via Mixture Attention for Interactive World Models
AI 导读
针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。
来源:arXiv · 机器人与计算机视觉 · arxiv.org