跳到正文
  1. arXiv · 机器人与计算机视觉82

    PlayGen2:学习具有显式三维状态的实时可玩世界

    PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。

    推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。

  1. arXiv · 机器人与计算机视觉78

    HERMES++:面向三维场景理解与生成的统一自动驾驶世界模型

    针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。

    推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。

  1. arXiv · 机器人与计算机视觉84

    PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

    PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

    推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。

  1. World Labs · Research & Insights86

    World Labs 发布下一代世界模型 Atlas:原生支持 3D 空间智能与相机控制生成

    World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。

    推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。

  1. World Labs · Research & Insights78

    RTFM:一款可实时交互的生成式世界模型发布

    World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。

    推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。

已经到底了