Trace2Env:从痕迹到智能世界模型,实现无需重建系统的交互式环境仿真
Trace2Env 框架利用历史交互痕迹构建包含环境架构与行为知识的可复用“世界书”,支持任务代理进行状态感知模拟。该方法在九个环境中提升了观测保真度与长程交互一致性,使多轮次生成的动作在真实环境重放时保持有效。该研究确立了无需重建原执行系统即可构建逼真环境副本的新方向,论文已上传至 arXiv 待注册 DOI。
Trace2Env 框架利用历史交互痕迹构建包含环境架构与行为知识的可复用“世界书”,支持任务代理进行状态感知模拟。该方法在九个环境中提升了观测保真度与长程交互一致性,使多轮次生成的动作在真实环境重放时保持有效。该研究确立了无需重建原执行系统即可构建逼真环境副本的新方向,论文已上传至 arXiv 待注册 DOI。
论文介绍 CLIFT 方法,通过共形自验证解决强化学习中奖励稀疏及外部裁判成本高的问题。训练中利用 URL 条件证据一致性筛选信号并赋予信任权重,将自证分数融入每步奖励;测试时将认证库冻结用于共形轨迹选择,在无需调用外部裁判的情况下实现保守的多数投票决策。
推荐理由:CLIFT 提出基于共形自验证的训练与测试时扩展方法,利用低成本自证信号替代昂贵的外部裁判,在 WebArena 等基准上实现开源模型的最优性能。
Kodiak AI 宣布采用亚马逊云科技(AWS)作为核心云平台,支撑其 BreakPoint 安全验证工具、AI 模型训练及 Driver 自动驾驶系统的开发。该合作旨在利用 AWS 的高性能计算能力运行百万级仿真场景,加速在 2026 年底前于德州公共高速公路推出无人驾驶货运服务。此举为 Kodiak 未来在美国范围内的规模化部署提供了可扩展的云基础设施基础。
IGMWorld 通过工业级游戏模组化技术,在 Minecraft 和 Terraria 中构建包含 110 项任务的基准 IGMBench。最强配置在严格任务标准下解决率达 78.2%,行为级表现达 94.8%。随着干预深度增加可靠性下降,视觉一致性通过率低于 50%,证明世界编辑是区别于生成与交互的独立能力。
Click-Ins 系统利用几乎全由渲染数据训练的模型,从普通手机照片执行保险、租赁车队及经销商的车辆检测。该流程涵盖跨品牌车身的程序化生成凹痕、划痕及形变,并实现像素级自动标注。OpenCV CEO Dmitry Geyzersky 在直播中展示了这一合成数据驱动的真实世界检测方案。
NVIDIA 展示利用 Agentic AI 工作流检查 Blender 三维场景、在 OpenUSD 中生成仿真数据并添加物理属性,最终输出符合 SimReady 要求的数字孪生。该流程实现了从原始场景到仿真就绪交付物的自动化验证,支持物理 AI 系统的开发管线。
Drake v1.57.0 新增多体植物与场景图对虚拟传送带的仿真支持,并在 meshcat 中实现基于点击拖拽施加虚拟力的功能。该版本为最后支持 macOS Sequoia (15) 的发布,计划于 2026-12-01 将 Python 绑定从 pybind11 迁移至 nanobind。
Mobileye 提出以安全架构、边缘案例驱动学习、专用软件栈及规模优先工程为核心的物理 AI 方法,覆盖完全自主的 Robotaxi/消费级 AV 及工业与家用 Mentee 人形机器人。该体系通过 Meteor 识别长尾场景并利用 Genario 生成合成数据训练,旨在实现硬件软件垂直整合下的安全实时决策与灵巧操作能力。
Genesis World v1.4.0 新增将场景与完整轨迹导出为可跨机器加载的独立归档能力,确保通过 `gs replay` 实现位精确回放。此次更新还允许在连杆任意局部点施加外部力矩、保存内存构建场景及记录无资产依赖的轨迹文件。此外,修复了包括 URDF 解析、FEM 顶点约束及 GPU 休眠在内的多项次要漏洞与资产处理问题。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
医疗机器人无法像自动驾驶那样依赖海量互联网数据或无限次实地试验,因演示需专用设备、临床专家及患者环境。NVIDIA 提出通过 GPU 原生的医学物理仿真技术来应对这一挑战,旨在填补训练现代机器人策略所需的数据缺口并降低开发门槛。
MuJoCo v1.2.3 发布,新增通过椭圆摩擦锥与高阻抗选项构建高精度静态摩擦模型功能。此次更新还改进了 fp32 精度下约束求解器的收敛性及等式约束稳定性,同时提升了非凸碰撞检测与非批处理 CPU 仿真的速度。
Torc Robotics 指出,传统自动化受限于消除变量,无法应对美国公路货运中天气、交通等不可预测条件带来的判断需求。物理 AI 通过实时感知环境与自适应决策,突破了规则系统的效能天花板,将操作域从固定路线扩展至动态复杂场景。该技术并非行业外来的颠覆性升级,而是过去数十年在路线优化与遥测投资基础上自然演进的技术终点,旨在解决长期存在的运营复杂性约束。
Kodiak 采用自研的 BreakPoint 工具结合概率风险评估(PRA)方法,量化评估其自动驾驶系统在罕见场景下的碰撞风险。该方法将不确定性纳入数学模型,通过对比人类驾驶基准数据,系统性缩小未知危险场景空间以验证安全性能。
NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。
推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。
World Labs 认为三维空间是人与机器交互的通用媒介,类比代码作为软件接口,三维数据应成为描述物理与虚拟世界的“空间代码”。该观点指出,相比依赖帧级像素生成的黑盒模型,结构化三维输出能支持人类编辑、仿真重跑及机器人共享状态。结合神经图形学进展,新一代世界模型将加速现有空间工作流并催生全新范式。
World Labs 宣布完成 10 亿美元新融资,投资方包括 AMD、NVIDIA 等。公司首款产品 Marble 现已推出,允许用户通过图像、视频或文本创建空间连贯的高保真持久三维世界。该进展旨在加速构建世界模型以推动空间智能在机器人及科学发现等领域的应用。
Google DeepMind 宣布即日起向全部 17 个 DOE 国家实验室提供加速访问权限,部署基于 Gemini 的"AI co-scientist"多智能体虚拟协作系统。
NVIDIA Isaac Lab v2.2.1 作为小版本补丁发布,新增 ContactSensor 接触点位置报告、环境动作描述符导出及 RSL-RL 对称示例。
Open Robotics 宣布其关联的 ROS、Gazebo 及 Open-RMF 等项目共有九名学生入选 Google Summer of Code 2025。
NVIDIA Isaac Lab v1.1.0 发布,新增 skrl 分布式多 GPU 学习及 JAX 训练评估支持。此次更新同时引入射线传感器 LiDAR 模式、可变形网格生成 API 及 PBS 作业调度器集群支持。官方正式停用 Isaac Sim 2023.1.1 版本支持,要求用户升级至 Isaac Sim 4.1 以获取最新功能与改进。
Open Robotics 宣布五名贡献者加入 Google Summer of Code 2024,致力于将 DAVE 项目的物理声纳仿真插件迁移并适配 ROS 2 与 Gazebo Harmonic。该项目旨在提升水下机器人模拟刷新率并支持侧扫等新类型声纳,以在真实部署前更准确验证自主算法。
Drake v1.26.0 发布,PyPI 轮子新增对 Python 3.11 和 3.12 的支持。这是最后一个支持 Ubuntu 20.04 的版本,同时废弃了 FindSeparationCertificateOptions.num_threads 等 API。
Drake v1.22.0 正式发布,新增 Python 3.12 轮子与 pip 夜间构建索引,但 macOS Monterey 支持已终止。此次更新修复了 RgbdSensor 相机姿态错误、SAP 缓存禁用时的段错误及未初始化内存问题。同时调整了 System 类继承规则并优化事件分发顺序以增强稳定性。
Drake v1.19.0 发布,将 multibody::MultibodyPlant 的重复帧名设为非法,并修改 ConvexSet 等类的返回类型以适配新 API。版本新增 ZeroOrderHold 时间偏移、RgbdSensor 图像时间输出及 glTF 文件渲染支持,同时引入 SoftOverMax 等新数学规划函数与 GurobiSolver 许可优化。
Drake v1.13.0 在 macOS 上启用 Python 3.11,并引入 RenderEngineGltfClient 支持第三方渲染器。该版本新增 SceneGraphCollisionChecker 简化碰撞查询,同时改进 URDF 解析与 YAML 处理。Breaking changes 包括模板类名称修饰及 SortedPair 绑定移除,需开发者注意回归测试兼容性。
Drake v0.16.0 发布,不再支持用户定义标量类型并移除了部分旧 API。该版本新增了多体动力学中间计算缓存、无质量刚体惯性支持及复合身体算法以提升求解器性能。官方提供 drake-20200311-{bionic|mac}.tar.gz 预编译二进制包,其中包含 SNOPT 求解器。
Drake v0.13.0 发布教程更新,包含使用 MultibodyPlant 的渲染功能及针对自定义评估器的优化。软件栈新增 SymbolicVectorSystem 的 LinearizeDynamics 与 dynamics_for_variable 特性,并引入 MathematicalProgram::indeterminates_index 等新接口。