NVIDIA 发布 Cosmos 3 Edge 端侧机器人控制模型
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
NVIDIA Nemotron 3.5 Lightning 是一款开源的 30B MoE 模型,拥有 3B 活跃参数,专为长运行 AI 智能体的高频工具调用与结果验证等执行层设计。该模型旨在解决在每一步执行都使用前沿推理模型所带来的高成本与延迟问题,通过轻量化架构提升持续运行智能体的效率。
NVIDIA NeMo Switchyard 允许构建的 AI Agent 根据任务需求在单一模型间动态切换,以匹配分类、推理等不同步骤的能力与成本特征。该技术解决了不同工作负载甚至同一任务内对模型性能要求变化的问题,避免将所有请求发送至最大模型造成的资源浪费。
NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。
推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。
针对机器人策略难以泛化的挑战,NVIDIA 提出超越视觉语言动作模型(VLA)的世界动作模型架构。该模型要求策略理解任务背后的物理规律而非单纯模仿演示,以应对物体形状、位置或光照变化等条件改变。此研究旨在解决训练场景外泛化难题,为具身智能提供新的技术路径。
NVIDIA Alpamayo 2 Super 作为 Alpamayo 家族最新成员,基于 Cosmos 3 Super Reasoner 并通过强化学习后训练,现已通过 OpenMDW‑1.1 许可面向商业使用。
推荐理由:NVIDIA Alpamayo 2 Super 以 OpenMDW‑1.1 许可面向商业部署,在多任务推理与仿真闭环工作流中提供前沿级能力。
NVIDIA 发布了开源的 340 亿参数推理视觉模型 Alpamayo 2 Super。该模型旨在解决自动驾驶开发中轨迹生成、高层意图预测、场景理解及数据标注依赖独立模型导致难以对比输出和复用表征的问题,提供统一的推理能力以支持相关工作流。
推荐理由:NVIDIA Alpamayo 2 Super 作为开源推理视觉模型,旨在统一轨迹生成、意图预测与数据标注任务,解决传统开发流程中多模型割裂导致的行为难以对比与复用的问题。
随着智能体与长上下文任务普及,注意力机制成为推理耗时主导因素。NVIDIA 主张围绕 GPU 执行特性重塑模型架构,通过 AI 模型协同设计优化注意力效率。该策略旨在解决长序列下注意力成本占比过高的问题,提升推理性能。
NVIDIA 推出 ModelExpress 技术,旨在以光速速度分发日益庞大的模型工件。该技术针对数百 GB 至 TB 级的检查点文件,优化了集群内冷启动、自动扩缩及 RL 后训练等场景下的权重移动效率。此举显著降低了因频繁搬运大体积模型权重而产生的高昂存储与传输成本。
IEEE Spectrum Robotics 发布每周精选视频集锦,展示了 GENE.01 人形平台在六个月内实现全功能化并配备多模态皮肤;GEN-1 具身基础模型支持多种末端执行器以学习通用物理常识。
NVIDIA OptiX Toolkit(OTK)提供针对 GPU 光线追踪应用的调试设施,可诊断无效 API 参数、黑屏及并发线程下的隐藏错误。该工具作为 GitHub 开源仓库,旨在帮助开发者解决难以定位的底层 Bug 以提升性能。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
NVIDIA Rubin GPU 架构旨在驱动持续运行的 AI 工厂,支持具备推理、规划及工具使用能力的智能体工作流。该架构不再局限于单一提示词或离散模型训练,而是致力于在广阔上下文中执行复杂的跨步骤任务。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。
NVIDIA Isaac Lab 3.0.0-beta2.patch1 作为小版本补丁发布,主要更新以支持 Isaac Sim 6.0.1。此次更新包含针对 NuRec 工作流的修复与改进,并优化了依赖项和 Docker 镜像兼容性。
Nvidia、卡内基梅隆大学和加州大学伯克利分校联合提出 ENPIRE 框架,利用 AI 编码代理在真实硬件上实现机器人自主迭代训练,解决灵巧操作数据收集瓶颈。
NVIDIA Isaac Lab 发布 v3.0.0-beta2 版本,重点稳定了 PhysX、Newton 及 OVPhysX 等多后端架构,增强了 Newton 物理与 Kit-less 工作流支持。
推荐理由:Isaac Lab 3.0 Beta 2 稳定了多后端架构与 Newton 物理支持,简化训练命令并修复多项运行时问题。
NVIDIA Hyperion 平台推出 Halos OS,作为其全栈安全系统的核心组件,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。
推荐理由:NVIDIA Hyperion 平台推出 Halos OS,提供符合 ISO 26262 ASIL D 的认证内核、标准化接口及 AI 护栏,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。
NVIDIA 在 CVPR 发布物理 AI Agent Skills,旨在解决物理 AI 研究中场景重建、合成数据生成及策略评估等碎片化问题。核心包括支持车队数据重建的 Neural Reconstruction 技能、加速 3D 高斯场景生成的 InstantNuRec、用于闭环强化学习的 AlpaGym 框架以及能实时响应策略动作的 Cosmos-Dreams 世界模型。
推荐理由:NVIDIA 在 CVPR 发布物理 AI Agent Skills,提供场景重建、合成数据生成及闭环强化学习工作流工具。
NVIDIA 与微软在 Microsoft Build 2026 上宣布合作推出面向智能体的统一技术栈,包括专为 Windows 打造的 RTX Spark 笔记本和 DGX Station 工作站。
推荐理由:NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 开源模型及 RTX Spark 等新硬件,提供从端侧到云端的统一 Agent 部署栈。
NVIDIA 在 COMPUTEX 上正式发布 JetPack 7.2 和 NemoClaw 智能体框架,支持 NVIDIA Jetson Orin、Thor 等端侧硬件。
推荐理由:JetPack 7.2 与 NemoClaw 将智能体框架落地至 Jetson 端侧,提供 Yocto 定制、CUDA 13 及 MIG 支持,显著降低边缘部署成本并加速工业场景落地。
NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。
推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。
宇树科技宣布推出 H2 Plus,一款基于 NVIDIA Isaac GR00T 的参考人形机器人,专门面向学术研究领域。该产品旨在为危险、紧急及重复性任务提供智能巡检解决方案,保障电力系统建设与运维工作的高效进行。
NVIDIA Research 在 ICRA 会议上展示了八篇论文,推动机器人从受控演示向真实世界通用自主性转变。
推荐理由:NVIDIA Research 在 ICRA 展示多项 sim-to-real 技术,涵盖多臂协同、灵巧操作与视觉语言动作模型,提供 GitHub 代码与 Isaac Lab 等工具链入口。
Google DeepMind 发布 Gemini 3.5 Flash 模型,该模型在终端基准、代码生成及多模态理解任务上表现优异,推理速度达到其他前沿模型的 4 倍。作为首个面向公众的 3.5 版本,它默认用于全球用户的 Gemini App 和搜索 AI 模式,并驱动了个人智能体 Spark 等功能的上线。DeepMind 同时表示正在内部使用 Gemini 3.5 Pro,计划于下月推出。
推荐理由:DeepMind 发布 Gemini 3.5 Flash,在保持高推理速度的同时提升多模态理解与长程任务执行能力,并默认用于个人智能体 Spark。
文远知行与联想在 Auto China 2026 宣布扩大合作,计划于 2026 年起五年内在全球联合部署 20 万辆自动驾驶车辆(含 Robotaxi)。双方将整合文远知行的 L4 技术平台与联想的智能计算及供应链能力,加速物理 AI 在真实移动场景的落地。
推荐理由:双方宣布五年内全球部署 20 万辆 L4 自动驾驶车辆,并依托 HPC 3.0 平台降低算力成本与总拥有成本。
2026 年 4 月 16 日,广汽埃安正式开启 Aion N60 预售,该车由文远知行与广汽埃安联合开发,全系标配文远知行 WRD 3.0 端到端智驾方案。这是 WRD 3.0 首次实现量产部署于高通骁龙 SA8650 平台,使文远知行成为首个在 NVIDIA Drive 和高通骁龙两大主流车载计算平台上均完成端到端技术量产落地的自动驾驶解决方案提供商。
推荐理由:文远知行宣布其端到端智驾方案 WRD 3.0 首次量产部署于高通平台,并依托自研世界模型 GENESIS 实现复杂场景仿真训练。
Skild AI 宣布与 ABB Robotics、Universal Robots 和 Mobile Industrial Robots 合作,将其全身体智能(omni-bodied)基础模型 Skild Brain 集成到主流工业机器人产品线中。
推荐理由:Skild AI 宣布与 ABB、优傲机器人及 NVIDIA 合作,将通用物理 AI 大脑集成至主流工业臂并部署于富士康产线。
NVIDIA Isaac Lab 3.0 Beta 基于 Isaac Sim 6.0 推出重大架构升级,引入多后端物理引擎(默认 PhysX、新 Newton)、可插拔渲染器系统及 Warp 原生数据管道。
推荐理由:Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式,支持 Newton 物理引擎及多种渲染器,为机器人学习研究提供更灵活的仿真环境。
Kodiak AI 宣布利用基于 Blackwell 架构的 NVIDIA DRIVE AGX Thor 计算平台,构建其下一代无驾驶货运解决方案。该架构提供高达 1,000 INT8 TOPS 算力,旨在支持生成式 AI、Transformer 及视觉语言模型(VLM),以实时解读复杂路况并实现安全可验证的驾驶行为。
推荐理由:Kodiak 宣布采用 NVIDIA DRIVE Hyperion 架构以加速下一代无驾驶人解决方案的部署与扩展。
NVIDIA Isaac Lab 开源仿真平台发布 v2.3.2 版本,重点聚焦稳定性提升与工作流优化。核心新功能包括支持多旋翼与推进器驱动的无人机环境、基于视觉的触觉传感器(含形状感知示例)、多网格 RayCaster 以及新的 OpenArm 环境。
推荐理由:该版本发布多旋翼无人机、视觉触觉传感器等新功能,并迁移至 Ruff 工具链与统一 USD 接口。
NVIDIA Isaac Lab 发布 v2.3.1 小版本补丁,修复了基于 Manager 的工作流中 get_done_term 返回值逻辑及 URDF 导入器 merge joints 标志兼容性问题。更新将 URDF 导入器升级至 2.4.31 以延续对合并关节的支持,并修正了肌腱属性类型名等配置错误。此次发布旨在解决影响用户工作流的若干关键缺陷,确保仿真环境稳定性。
NVIDIA Isaac for Healthcare v0.4 发布端到端手术机器人工作流,提供从仿真数据生成、GR00T N1.5 微调到硬件部署的完整工具链与代码。该流程结合约 70% 的仿真数据和少量真实遥操作数据训练策略,支持在 DGX Spark 单台设备上完成全流程,并开放了键盘遥操作接口与 TensorRT 优化模型转换脚本。
NVIDIA Isaac Lab 2.3.0 版本基于 Isaac Sim 5.1,重点增强具身智能与遥操作工作流。核心更新包括引入 Dexterous RL(DexSuite)环境以支持 Kuka 机械臂与 Allegro 手,集成 SkillGen 框架实现 cuRobo GPU 加速运动规划,并新增 G1 人形机器人环境结合强化学习与逆运动学进行移动操作任务演示。
推荐理由:Isaac Lab 2.3.0 发布,新增 Dexterous RL 环境、Mimic-SkillGen 集成及 G1 人形机器人仿真支持。
Figure 宣布通过 C 轮融资获得超过 10 亿美元承诺资金,后估值为 390 亿美元。本轮融资由 Parkway Venture Capital 牵头,Brookfield Asset Management、NVIDIA、Intel Capital 等机构参与投资。
推荐理由:融资将加速 Helix 平台与 BotQ 制造规模扩张,并用于构建下一代 GPU 基础设施以支持感知、推理与控制模型训练。
NVIDIA Isaac Lab v2.2.1 作为小版本补丁发布,新增 ContactSensor 接触点位置报告、环境动作描述符导出及 RSL-RL 对称示例。
NVIDIA Isaac Lab 发布 v2.2.0 版本,核心升级包括与 Isaac Sim 5.0 全量兼容及向后兼容 4.5。物理层面更新 PhysX API 关节摩擦建模、支持空间肌腱与表面夹持器交互。
推荐理由:NVIDIA Isaac Lab v2.2.0 发布,新增 FORGE 与 AutoMate 接触丰富操作任务及 GR1 模仿学习环境,并适配 Isaac Sim 5.0。
NVIDIA Isaac Lab v2.1.1 发布,兼容 Isaac Sim 4.5,新增来自 Automate 项目的装配任务及数字人运动控制示例。此次更新包含资产接口、传感器可视化及数学工具等数十项改进,但不提供 Docker 镜像或 pip 包。
NVIDIA Isaac Lab 发布 v2.1.0 版本,正式支持使用 Apple Vision Pro 进行双手遥操作以采集灵巧手部数据,并集成 Isaac Lab Mimic 实现模仿学习工作流。
推荐理由:NVIDIA Isaac Lab v2.1.0 新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署支持,并开放 USD 属性随机化等新功能。
NVIDIA Isaac Lab v2.0.2 补丁版发布,通过引入 velocity_limit_sim 和 effort_limit_sim 参数明确区分仿真求解器限制与执行器模型约束,回退至 v2.0.1 前行为以修复隐式速度限制导致的策略失效问题。