跳到正文
arXiv · 机器人与计算机视觉· Baiang Li, Enze Xie, Jincheng Yu, Jin Wang, Haozhe Liu, Yitong Li, Juanxi Tian, Felix Heide·· 14 小时前精选AI 评分76

WM^MLLM:将多模态大语言模型转化为世界模型

WM^MLLM: Turning MLLMs into World Models

AI 导读

论文提出了 WM^MLLM,这是首个构建在多模态大语言模型(MLLM)之上的交互式世界模型,旨在实现基于单张图像的持久化、可编辑的世界生成。该架构将世界状态外置为带有修订历史的 panorama 全景图,由 MLLM 负责管理:它将用户请求转化为对状态的运算,选择局部编辑写入位置,并在状态更新前检查候选结果;图像生成器仅提议视图,视频仅用于展示。

推荐理由

该工作提出首个基于 MLLM 的交互式世界模型,将世界状态外置为带修订历史的全景图,确保重访与局部编辑的一致性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org