PlayGen2:学习具有显式三维状态的实时可玩世界
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。
推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。
推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。