跳到正文
11月17日周二
11月13日周五
  1. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

11月7日周六
  1. NVIDIA Technical Blog18

    NVIDIA 发布 Reshard Collective 加速强化学习权重重拟合

    NVIDIA 推出 Reshard Collective,解决强化学习后训练中推理与训练并行时的 GPU 资源解耦难题。该技术允许在独立 GPU 上运行策略模型推理并实时生成轨迹,同时仅对训练 GPU 更新权重且定期刷新全量参数。此方案显著提升了物理 AI 模型训练的并行效率与资源利用率。

11月5日周四
  1. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 Cosmos 交互式世界模拟框架用于物理 AI

    NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。

    推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。

11月3日周二
  1. NVIDIA Technical Blog43

    英伟达发布 Cosmos 平台以构建物理 AI 交互式仿真世界模型

    NVIDIA Cosmos 是专为物理 AI 开发者打造的包含世界基础模型与开发工具的平台,旨在解决模型适配传感器、任务及数据并可靠落地应用的两大挑战。该平台提供智能体技能与世界模型训练的配方(recipes),帮助开发者将通用模型高效转化为特定场景的交互式仿真解决方案。

11月2日周一
10月31日周六
10月28日周三
  1. The Robot Report75

    WorldOracle 评测基准:检验世界模型能否可靠预测真实执行

    WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。

10月26日周一
10月24日周六
  1. 量子位75

    达瓦科技发布实时世界模型Scenes AI,单卡运行34B大模型并获NVIDIA大奖

    达瓦科技发布实时世界模型产品Scenes AI,在2026 NVIDIA创业企业展示中拿下「半程展示卓越企业奖」。该模型不预测下一帧画面,而是维护包含场景、物理、光照等变量的持续运行世界状态,仅更新发生变化的局部(如天气、画风),其余状态保持锁定。

10月23日周五
  1. NVIDIA Blog · Physical AI82

    NVIDIA Cosmos 开放新工具以训练、评估和部署世界模型

    NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。

    推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。

10月21日周三
  1. NVIDIA Blog · Physical AI75

    NVIDIA 发布 Nemotron 3.5 及 Kumo Cosmos 等开源模型系列

    NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。

    推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。

10月19日周一
  1. arXiv · 机器人与计算机视觉78

    Momentum:面向视频世界模型的持久化动力学方法

    该论文提出 Momentum 方法,通过参考相机阵列构建同步视频作为场景动态共享记忆,利用图结构在相邻设备间传播生成以协调时空一致性。WorldUpdate 阶段生成全局动态记忆,WorldInteract 阶段将目标相机控制锚定于此记忆,确保移出视野的动态内容(如车辆、行人)能保持状态并在重入时一致呈现。

    推荐理由:原文提出了利用多机位视频记忆与图传播机制解决动态场景一致性的方法,并提供了 CARLA 数据捕获流程与评估框架。

10月16日周五
  1. NVIDIA Blog · Physical AI52

    欧洲城市部署 NVIDIA 驱动的 AI 代理以优化城市运营

    NVIDIA 宣布 EMEA 地区多个城市利用其加速计算构建物理 AI 代理和数字孪生,以提升道路维护、能源效率及公共服务的响应速度。合作伙伴包括 K2K、Akila、ThinkDeep、Galene.AI 等,应用覆盖英国利物浦、法国科多尔省、意大利米兰及比利时安特卫普等地,涉及交通规划、建筑能耗管理及合成数据训练模型等场景。

  2. NVIDIA Isaac Lab · Releases12

    Isaac Lab 发布交互式浏览器演示与预构建 Newton WebAssembly 仿真包

    Isaac Lab 文档站点新增经审核的预构建 Newton WebAssembly 仿真及其浏览器查看器与导出源码。该永久捆绑包包含场景、重建指令及工具,仅需浏览器即可运行演示,无需本地编译环境。更新通过提交命名归档和 SHA-256 校验确保可复现构建,旧版资产保持可用以兼容现有工作流。

10月9日周五
  1. NVIDIA Blog · Physical AI42

    Frontier AI 智能体如何借助 Omniverse 将创意转化为仿真应用

    NVIDIA 开发者利用 GPT-6 Astra 等前沿模型结合 Omniverse 库,通过自然语言指令构建可编辑的 3D 资产、测试机器人拆解及数字孪生场景。实验涵盖使用 Houdini 与 Isaac Sim 生成动画、在 Onshape 中配置 CAD 模型以及分析燃气轮机工况,实现了从概念到仿真应用的快速转化。

10月8日周四
10月7日周三
  1. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  2. OpenCV Blog4

    OpenCV 直播预告:构建物理 AI 管线——OpenCV 到 NVIDIA Isaac Sim

    OpenCV 将于 2026 年 10 月 8 日周四上午 9 点(太平洋时间)举办名为"OpenCV Live! 228"的直播,主题聚焦构建从 OpenCV 到 NVIDIA Isaac Sim 的物理 AI 管线。NVIDIA Isaac Sim 作为开源参考框架,支持在基于物理的虚拟环境中进行机器人仿真、测试及合成数据生成,并能摄入 CAD、URDF 或真实世界捕获等多源数据。

10月5日周一
  1. arXiv · 机器人与计算机视觉73

    Isaac-Net:支持百万级机器人的 GPU 批处理 5G 仿真模块开源

    论文作者发布了 Isaac-Net,这是一个集成到 Isaac Lab 的 GPU 批处理 5G NR 模块,能在单卡上模拟约一百万个机器人环境。该工具在锁步更新物理引擎的同时精确复现了 ns-3 5G-LENA 的中位延迟与 AoI 指标,解决了传统独立延迟模型无法捕捉网络拥塞尾部效应的缺陷。代码已开源,适用于需要高保真网络仿真的大规模具身智能训练场景。

9月28日周一
9月17日周四
8月27日周四
8月11日周二
8月6日周四
  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 开放世界模型系列

    NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。

    推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。

7月22日周三
  1. NVIDIA Blog · Physical AI75

    NVIDIA 开源首个 GPU 加速医疗物理仿真框架

    NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。

    推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。

6月3日周三
  1. NVIDIA Blog · Physical AI80

    NVIDIA 发布物理 AI Agent Skills 赋能自动驾驶与机器人研究

    NVIDIA 在 CVPR 发布物理 AI Agent Skills,旨在解决物理 AI 研究中场景重建、合成数据生成及策略评估等碎片化问题。核心包括支持车队数据重建的 Neural Reconstruction 技能、加速 3D 高斯场景生成的 InstantNuRec、用于闭环强化学习的 AlpaGym 框架以及能实时响应策略动作的 Cosmos-Dreams 世界模型。

    推荐理由:NVIDIA 在 CVPR 发布物理 AI Agent Skills,提供场景重建、合成数据生成及闭环强化学习工作流工具。

  2. NVIDIA Blog · Physical AI75

    NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 模型及 RTX Spark 新硬件

    NVIDIA 与微软在 Microsoft Build 2026 上宣布合作推出面向智能体的统一技术栈,包括专为 Windows 打造的 RTX Spark 笔记本和 DGX Station 工作站。

    推荐理由:NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 开源模型及 RTX Spark 等新硬件,提供从端侧到云端的统一 Agent 部署栈。

6月1日周一
  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 世界基础模型以辅助物理 AI 在行动前进行思考

    NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。

    推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。

5月16日周六
  1. Google DeepMind72

    Gemini 3.5:前沿智能与行动能力的结合

    Google DeepMind 发布 Gemini 3.5 Flash 模型,该模型在终端基准、代码生成及多模态理解任务上表现优异,推理速度达到其他前沿模型的 4 倍。作为首个面向公众的 3.5 版本,它默认用于全球用户的 Gemini App 和搜索 AI 模式,并驱动了个人智能体 Spark 等功能的上线。DeepMind 同时表示正在内部使用 Gemini 3.5 Pro,计划于下月推出。

    推荐理由:DeepMind 发布 Gemini 3.5 Flash,在保持高推理速度的同时提升多模态理解与长程任务执行能力,并默认用于个人智能体 Spark。

3月17日周二
  1. NVIDIA Isaac Lab · Releases78

    NVIDIA Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式

    NVIDIA Isaac Lab 3.0 Beta 基于 Isaac Sim 6.0 推出重大架构升级,引入多后端物理引擎(默认 PhysX、新 Newton)、可插拔渲染器系统及 Warp 原生数据管道。

    推荐理由:Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式,支持 Newton 物理引擎及多种渲染器,为机器人学习研究提供更灵活的仿真环境。

8月30日周六