跳到正文
  1. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  1. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 Cosmos 交互式世界模拟框架用于物理 AI

    NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。

    推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。

  1. NVIDIA Blog · Physical AI82

    NVIDIA Cosmos 开放新工具以训练、评估和部署世界模型

    NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。

    推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。

  1. NVIDIA Blog · Physical AI75

    NVIDIA 发布 Nemotron 3.5 及 Kumo Cosmos 等开源模型系列

    NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。

    推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。

  1. arXiv · 机器人与计算机视觉78

    Momentum:面向视频世界模型的持久化动力学方法

    该论文提出 Momentum 方法,通过参考相机阵列构建同步视频作为场景动态共享记忆,利用图结构在相邻设备间传播生成以协调时空一致性。WorldUpdate 阶段生成全局动态记忆,WorldInteract 阶段将目标相机控制锚定于此记忆,确保移出视野的动态内容(如车辆、行人)能保持状态并在重入时一致呈现。

    推荐理由:原文提出了利用多机位视频记忆与图传播机制解决动态场景一致性的方法,并提供了 CARLA 数据捕获流程与评估框架。

  1. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 开放世界模型系列

    NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。

    推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。

  1. NVIDIA Blog · Physical AI75

    NVIDIA 开源首个 GPU 加速医疗物理仿真框架

    NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。

    推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。

  1. NVIDIA Blog · Physical AI80

    NVIDIA 发布物理 AI Agent Skills 赋能自动驾驶与机器人研究

    NVIDIA 在 CVPR 发布物理 AI Agent Skills,旨在解决物理 AI 研究中场景重建、合成数据生成及策略评估等碎片化问题。核心包括支持车队数据重建的 Neural Reconstruction 技能、加速 3D 高斯场景生成的 InstantNuRec、用于闭环强化学习的 AlpaGym 框架以及能实时响应策略动作的 Cosmos-Dreams 世界模型。

    推荐理由:NVIDIA 在 CVPR 发布物理 AI Agent Skills,提供场景重建、合成数据生成及闭环强化学习工作流工具。

  2. NVIDIA Blog · Physical AI75

    NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 模型及 RTX Spark 新硬件

    NVIDIA 与微软在 Microsoft Build 2026 上宣布合作推出面向智能体的统一技术栈,包括专为 Windows 打造的 RTX Spark 笔记本和 DGX Station 工作站。

    推荐理由:NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 开源模型及 RTX Spark 等新硬件,提供从端侧到云端的统一 Agent 部署栈。

  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 世界基础模型以辅助物理 AI 在行动前进行思考

    NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。

    推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。

  1. Google DeepMind72

    Gemini 3.5:前沿智能与行动能力的结合

    Google DeepMind 发布 Gemini 3.5 Flash 模型,该模型在终端基准、代码生成及多模态理解任务上表现优异,推理速度达到其他前沿模型的 4 倍。作为首个面向公众的 3.5 版本,它默认用于全球用户的 Gemini App 和搜索 AI 模式,并驱动了个人智能体 Spark 等功能的上线。DeepMind 同时表示正在内部使用 Gemini 3.5 Pro,计划于下月推出。

    推荐理由:DeepMind 发布 Gemini 3.5 Flash,在保持高推理速度的同时提升多模态理解与长程任务执行能力,并默认用于个人智能体 Spark。

  1. NVIDIA Isaac Lab · Releases78

    NVIDIA Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式

    NVIDIA Isaac Lab 3.0 Beta 基于 Isaac Sim 6.0 推出重大架构升级,引入多后端物理引擎(默认 PhysX、新 Newton)、可插拔渲染器系统及 Warp 原生数据管道。

    推荐理由:Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式,支持 Newton 物理引擎及多种渲染器,为机器人学习研究提供更灵活的仿真环境。

  1. NVIDIA Isaac Lab · Releases71

    Isaac Lab v2.1.0 发布:新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署

    NVIDIA Isaac Lab 发布 v2.1.0 版本,正式支持使用 Apple Vision Pro 进行双手遥操作以采集灵巧手部数据,并集成 Isaac Lab Mimic 实现模仿学习工作流。

    推荐理由:NVIDIA Isaac Lab v2.1.0 新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署支持,并开放 USD 属性随机化等新功能。

  1. NVIDIA Isaac Lab · Releases68

    NVIDIA Isaac Lab v1.3.0 发布:IMU 传感器与相机基准工具更新

    NVIDIA Isaac Lab 发布 v1.3.0 版本,作为 Isaac Sim 4.2 的最终版,该版本新增 IMU 传感器支持、相机基准工具及距离深度图像的正确反投影功能。

    推荐理由:Isaac Lab v1.3.0 作为 Isaac Sim 4.2 的最终版,新增 IMU 传感器、相机基准工具及基于 Gymnasium 空间的感知环境支持。

已经到底了