如何使用 AI Agent 为物理 AI 系统准备仿真场景
NVIDIA 展示利用 Agentic AI 工作流检查 Blender 三维场景、在 OpenUSD 中生成仿真数据并添加物理属性,最终输出符合 SimReady 要求的数字孪生。该流程实现了从原始场景到仿真就绪交付物的自动化验证,支持物理 AI 系统的开发管线。
NVIDIA 展示利用 Agentic AI 工作流检查 Blender 三维场景、在 OpenUSD 中生成仿真数据并添加物理属性,最终输出符合 SimReady 要求的数字孪生。该流程实现了从原始场景到仿真就绪交付物的自动化验证,支持物理 AI 系统的开发管线。
NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。
推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。
在2026浦江创新论坛上,上海人工智能实验室升级发布书生·端砚科学发现平台并全面开放全栈服务。该平台接入最新推出的书生科学多模态大模型S2和书生物理世界模型W0,旨在推动AI科研从单任务执行走向可持续、可核验、可复现的完整过程。
推荐理由:上海AI实验室升级发布书生·端砚平台,接入S2多模态大模型与W0物理世界模型,打通从假设提出到真实实验验证的闭环。
Skild AI 发布 S1 机器人基础模型,利用上下文学习技术从单个视频演示中理解并执行此前未见的新任务,无需更新权重或进行特定后训练。该模型在植物种植等长程多步操作中成功率提升七倍,仅需 11 分钟即可从录制演示过渡到硬件自主执行。
推荐理由:Skild AI 推出 S1 机器人基础模型,支持单视频演示学习新任务,无需重新训练即可执行长达 10 分钟的复杂操作。
NVIDIA 推出面向 Robotaxi 的全栈开放平台,整合了 DGX 训练计算机、Omniverse/Cosmos 仿真验证计算机及 Hyperion 车端计算架构。
推荐理由:NVIDIA 推出全栈开放平台,提供 Alpamayo VLA 推理模型、Cosmos 世界基础模型及 Omniverse 仿真工具链,支持从训练到车端部署的闭环开发。
Drake v1.57.0 新增多体植物与场景图对虚拟传送带的仿真支持,并在 meshcat 中实现基于点击拖拽施加虚拟力的功能。该版本为最后支持 macOS Sequoia (15) 的发布,计划于 2026-12-01 将 Python 绑定从 pybind11 迁移至 nanobind。
Google DeepMind 于 2026 年 9 月 8 日发布 MuJoCo 引擎版本 3.13.0。该版本引入新的离散积分器(integrator="discrete"),将约束求解与隐式速度更新合并,使被动弹簧和致动器增益在远超显式稳定性极限的时间步长下保持稳定,并修复了旧版隐式弹性模型需迁移至新积分器的 API 变更。
Mobileye 提出以安全架构、边缘案例驱动学习、专用软件栈及规模优先工程为核心的物理 AI 方法,覆盖完全自主的 Robotaxi/消费级 AV 及工业与家用 Mentee 人形机器人。该体系通过 Meteor 识别长尾场景并利用 Genario 生成合成数据训练,旨在实现硬件软件垂直整合下的安全实时决策与灵巧操作能力。
Genesis World v1.4.0 新增将场景与完整轨迹导出为可跨机器加载的独立归档能力,确保通过 `gs replay` 实现位精确回放。此次更新还允许在连杆任意局部点施加外部力矩、保存内存构建场景及记录无资产依赖的轨迹文件。此外,修复了包括 URDF 解析、FEM 顶点约束及 GPU 休眠在内的多项次要漏洞与资产处理问题。
Google DeepMind 发布旗舰级气象模型 WeatherNext 3,该模型直接学习实时卫星观测数据而非数值模式,实现每小时更新与最高 5 公里分辨率,降水预测精度较基线提升显著。系统已集成至 Search、Gemini、Maps 等产品,提供清洁能源变量预测及全球高分辨率气象图,支持研究人员通过 BigQuery 和 Earth Engine 查询数据。
推荐理由:DeepMind 发布 WeatherNext 3,利用实时卫星数据实现每小时更新与 5 公里分辨率,显著提升降水预测精度并支持清洁能源变量。
Kodiak AI 与其客户 Atlas Energy Solutions 合作发布了可在 Permian Basin 运营的可牵引三挂拖车(triples)的自动驾驶货运技术,这是该公司的行业首创。
推荐理由:Kodiak 发布能牵引三挂拖车的自动驾驶技术,通过感知、规划与控制系统的升级解决长车距与动力学挑战。
Google DeepMind 发布 MuJoCo 3.12.0,核心更新包括新增支持位置/速度设定值及前馈输入的 PID 控制器和重新设计的直流电机控制器。引擎层面优化了大网格凸碰撞检测速度与柔体块求解器收敛性,并修复了盒盒碰撞穿透与近奇异面裁剪导致的接触失效问题。
推荐理由:DeepMind 发布 MuJoCo 3.12.0,新增 PID 与直流电机控制器、优化碰撞检测及纹理加载规范。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
Drake v1.56.0 提供 drake/version.h 头文件并启动将 Python 绑定从 pybind11 迁移至 nanobind的进程。此次更新移除了对 Docker 镜像及 drake-apt 站点的支持,同时弃用了 Eigen 旧版自动微分功能改用自研实现。用户需关注相关 issue 以获取 beta 版本测试指南及构建系统依赖升级说明。
Genesis World v1.3.3 发布,修复了刚性求解器收敛回归问题,引入 torch-like 选项 use_deterministic_algorithms 以确保机器内位精确复现。
推荐理由:该版本修复了刚性求解器收敛回归并引入确定性算法选项,同时改进了 MuJoCo 兼容性以支持原生接触点多接触模式。
Genesis World 发布 v1.3.0,将可微刚体模拟从实验性功能转为正式支持,新增扭转和滚动摩擦以缩小仿真到现实的差距。修复了 SPH 流体中浮力缺失、相机传感器刷新及渲染资产配准等若干问题。
推荐理由:该版本将可微刚体模拟从实验性功能转正,并新增扭转与滚动摩擦以缩小仿真到现实的差距。
医疗机器人无法像自动驾驶那样依赖海量互联网数据或无限次实地试验,因演示需专用设备、临床专家及患者环境。NVIDIA 提出通过 GPU 原生的医学物理仿真技术来应对这一挑战,旨在填补训练现代机器人策略所需的数据缺口并降低开发门槛。
DeepMind MuJoCo 3.11.0 版本发布,核心更新包括新增 geom/surfacevel 表面速度场以支持传送带等运动建模、geom/adhesion 粘附力及 pair/adhesion 远距离吸附功能。
推荐理由:DeepMind MuJoCo 3.11.0 发布,新增表面速度场与粘附力建模、SO(3) 姿态伺服及隐式弹性求解器,支持 MIMO 执行器与多输入签名。
World Labs 宣布联合 SceniX 推出 R2S2R 引擎,将真实任务转化为高保真仿真世界以支持机器人策略训练与评估。该引擎实现了从真实到仿真(Real-to-Sim)的转换及从仿真到真实(Sim-to-Real)的策略迁移,允许在零真实数据下训练策略并直接部署到多种物理机器人上。
推荐理由:World Labs 联合 SceniX 推出 R2S2R 引擎,实现零真实数据训练与闭环评估。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
MuJoCo v1.2.3 发布,新增通过椭圆摩擦锥与高阻抗选项构建高精度静态摩擦模型功能。此次更新还改进了 fp32 精度下约束求解器的收敛性及等式约束稳定性,同时提升了非凸碰撞检测与非批处理 CPU 仿真的速度。
Drake v1.55.0 正式移除对 Eigen legacy autodiff 的支持,转而使用自研的 AutoDiffXd 标量类型。该版本将 Python 绑定从 pybind11 迁移至 nanobind,未来将逐步停止对 pybind11 的支持。
Genesis World v1.2.2 发布,新增支持噪声选项(迟滞、死区、探针增益)的触觉传感器家族,适用于通过强化学习训练灵巧策略。修复了非凸碰撞检测中的虚假深接触和薄壳穿模问题,并将 noslip 后处理步骤的性能损耗控制在 20% 以内。同时修复了 go2_backflip RL 训练示例及大数据量下的数据访问器回归问题。
推荐理由:该版本修复了触觉传感器与碰撞检测的稳定性问题,并优化了 RL 训练性能。
Figure 宣布 Figure 03 机器人抵达宝马集团斯帕坦堡工厂 Hall 52,接替上一代机型开展更具挑战性的“排序”(sequencing)任务。该任务要求机器人在非标准化、位置随机的零件中抓取并放入指定槽位,同时需结合全身移动与精细操作。
推荐理由:Figure 03 在宝马工厂演示了结合全身控制与视觉策略的排序任务,验证了通用物理 AI 处理复杂物流场景的能力。
文远知行宣布其专有世界模型 WeRide GENESIS 在 2026 AI Breakthrough Awards 上获颁“年度整体生成式 AI 解决方案”,此前该模型刚在 ATTI 奖项中赢得仿真创新奖。
推荐理由:WeRide GENESIS 凭借生成式 AI 与物理仿真能力获两项大奖,验证了其在加速自动驾驶开发、训练及部署方面的价值。
Genesis World 发布 v1.2.0 版本,核心更新包括默认启用岛屿分区(islands partitioning)以大幅提升大规模场景扩展性,并优化了实体自由度对仿真速度的影响。
Drake v1.54.0 发布,新增对 Ubuntu 26.04 ("Resolute") amd64 架构的支持,并将教程从 Deepnote 迁移至官网。该版本不再提供 Docker 镜像(已弃用),同时修复了 pydrake 原生代码内存泄漏并更新了包括 abseil_cpp_internal、bazel 在内的多项依赖库。
NVIDIA与LG集团宣布共建AI工厂,旨在加速其机器人、自动驾驶及数据中心业务。双方将整合NVIDIA全栈平台(包括Isaac Sim、Isaac Lab、GR00T模型、Cosmos世界基础模型)与LG的制造数据及硬件能力,构建从数据采集、仿真训练到边缘部署的统一工作流。
Boston Dynamics 联合 Hyundai 在 FIFA World Cup 2026™背景下,通过光学动捕系统记录人类高保真运动数据并映射至 Atlas®机器人。
Genesis World v1.1.0 发布,重点优化了复杂场景下刚体求解器的性能下降及数值稳定性。此次更新修复了接触穿透、射线传感器加载等多项 Bug,并针对自由度超过 128 的大规模系统加速求解器。此外,还通过共享 BVH 和稀疏 Cholesky 分解等技术提升了射线传感器与刚性求解器的计算速度。
NVIDIA 在 CVPR 发布物理 AI Agent Skills,旨在解决物理 AI 研究中场景重建、合成数据生成及策略评估等碎片化问题。核心包括支持车队数据重建的 Neural Reconstruction 技能、加速 3D 高斯场景生成的 InstantNuRec、用于闭环强化学习的 AlpaGym 框架以及能实时响应策略动作的 Cosmos-Dreams 世界模型。
推荐理由:NVIDIA 在 CVPR 发布物理 AI Agent Skills,提供场景重建、合成数据生成及闭环强化学习工作流工具。
Kodiak 采用自研的 BreakPoint 工具结合概率风险评估(PRA)方法,量化评估其自动驾驶系统在罕见场景下的碰撞风险。该方法将不确定性纳入数学模型,通过对比人类驾驶基准数据,系统性缩小未知危险场景空间以验证安全性能。
World Labs 团队发布关于世界模型的功能分类法,将现有系统分为渲染器(输出像素)、仿真器(输出物理状态)和规划器(输出动作)。文章指出当前行业过度关注渲染与规划,而忽视作为结构骨架的仿真,并介绍其项目 Marble 通过同时生成高斯泼溅图与碰撞网格来模糊渲染与仿真的边界。最终目标是构建能统一处理视觉、物理结构与行动序列的基础模型,以推动空间智能的发展。
推荐理由:文章提出渲染器、仿真器与规划器正从功能分离走向统一,指出仿真作为连接视觉与行动的枢纽是解决 sim-to-real 差距的关键。
NVIDIA Research 在 ICRA 会议上展示了八篇论文,推动机器人从受控演示向真实世界通用自主性转变。
推荐理由:NVIDIA Research 在 ICRA 展示多项 sim-to-real 技术,涵盖多臂协同、灵巧操作与视觉语言动作模型,提供 GitHub 代码与 Isaac Lab 等工具链入口。
Genesis World 开源物理仿真平台发布 v1.0.0 版本,新增对非凸多接触碰撞检测的完整支持及稳健的非凸网格修复管线。该版本显著加速了刚体求解器(在约 64 自由度的接触抓取场景中提升可达 35%)、点云触觉传感器及 MPM 求解器性能,并修复了静态接触漂移、平坦地形虚假旋转等若干问题。
推荐理由:该版本新增非凸多接触碰撞检测与修复管线,并显著加速刚体求解器及触觉传感器。
Google DeepMind 发布 Project Genie 新功能,将其通用世界模型能力与 Google Street View 实景影像结合,允许用户在选定美国地点后生成基于真实地理锚点的想象世界。该功能支持“海洋世界”等风格化场景,目前作为实验原型向全球 Google AI Ultra 订阅者开放,旨在为 AI 智能体提供在现实复杂环境中导航和交互的虚拟环境。
Drake v1.53.0 正式支持 Ubuntu 26.04 与 ARM64 架构,AutoDiff 性能提升 30%-100%。旧版 Docker 镜像将于 2026-06-01 弃用,用户需改用官方发布的预编译二进制包或.deb 安装包。该版本还修复了多体动力学问题并新增多项数学规划与绑定功能。
NVIDIA 发布 SimReady 内容标准以规范物理 AI 所需的 3D 资产格式,确保其在渲染、仿真与 AI 训练中可靠流转。同时,NVIDIA Omniverse 库提供高保真物理模拟层用于模型训练验证。
推荐理由:NVIDIA 推出 SimReady 内容标准与 Cosmos Reason 等工具,旨在解决工业资产跨平台流转难题并提升仿真训练精度。
Momenta 在北京车展上宣布其 R7 世界模型首次进入大规模量产阶段,标志着智能驾驶从“感知”迈向“理解”。该模型采用预训练、仿真与强化学习三层架构,旨在通过虚拟环境中的千万次推演掌握物理规律,从而在十万分之一概率的极端场景中提供安全保护。目前搭载该系统的大规模量产车辆数量已超 80 万辆,全球交付速度显著提升,并在包括英国、挪威在内的多个地区部署了 Robotaxi 生态。
推荐理由:Momenta 宣布 R7 世界模型进入量产,通过三层架构实现从模仿到想象的进化,旨在解决长尾极端场景下的安全决策问题。
Drake v1.52.0 正式发布,新增对 Amazon Linux 2023 的 pip 安装支持及 Ubuntu 26.04 预览版支持。该版本将新 AutoDiff 实现设为默认(旧版将于 2026-07-01 移除),并停止维护 Ubuntu 22.04。此外,发布包不再附带二进制文件,用户需改用 nightly 构建或直接从 release 附件安装.deb 包。