物理 AI:概念、技术与挑战综述
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。
推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。
该论文作为一篇综述,系统回顾了视频世界模型在具身智能中的应用潜力与挑战。文章指出视频模型能生成高保真、物理一致的交互视频,克服了传统物理仿真器的简化假设瓶颈,可作为基础世界模型捕捉细粒度动力学。然而,当前模型仍存在违反物理规律的预测(幻觉)、指令遵循差及数据计算开销大等问题。作者提出了针对安全关键场景的未来研究方向,并提供了精选参考文献列表。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
MindView 基准包含来自三个室内数据集的 513 个场景共 1,500 个样本,涵盖几何主导与语义主导两类任务。评估显示 11 个生成器在扩展上下文下得分均下降,而经 MindView 训练集微调后的 BAGEL 模型整体分数提升 24.3 点且未依赖目标基准标注。提出的无训练开销 MindCue 证据选择器逆转了扩展上下文下的性能下滑并优于标准基线。
论文提出了 SceneRig 系统,旨在解决仅靠视觉相似性不足以支撑机器人仿真的问题。该系统结合几何、视觉和物理工具重建忠实 3D 场景,并通过智能体在物理模拟器中执行编辑与验证循环以确保物理稳定性。
针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
该研究提出利用预期自由能(EFE)目标结合目标距离与预测分歧,以决定在潜在世界模型规划中应投入多少计算资源。实验显示,当精英成本停滞时停止细化可降低任务成功率随深度增加而饱和的开销,但大权重下奖励分歧会降低冻结模型的成效。在线更新能在训练数据缺失关键区域时部分恢复损失,不过基于成本进展引导计算在峰值后保护性能仍需动作后果信息。
论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。
针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。
针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。
arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。
arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。
推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。
该论文提出 CityPaint 框架,利用丰富的 2D 图像数据和扩散模型生成全局一致的城市级 3D 纹理,无需依赖稀缺的真实城市级 3D 训练数据。该方法结合了几何先验与 2D 扩散模型的生成能力,引入稳健的 top-K 相机烘焙策略进行迭代纹理投影,并针对 2D 到 3D 投影产生的伪影提出了解耦细化机制,分别优化地形和建筑纹理。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。
推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。
SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。
该报告介绍 Sage-A1.5,这是一个基于 A1 的 35B 参数混合专家智能体模型,旨在通过自适应能力组合推进长周期问题解决。相比前代,它不仅能解决单个任务,还能在执行中组织工作并修正方法。
针对黑盒大语言模型智能体缺乏特定环境知识的痛点,研究提出 PAWM(Pitfall Anticipation World Model),该方法仅在出现潜在失败风险时进行干预并预测即将发生的错误以引导智能体避坑。
该方法利用稀疏非线性动力学识别技术,从飞行数据中学习显式的物理约束控制效能映射模型。相比高保真在线模型或黑盒驱动方案,该模型在保持相当精度的同时大幅降低计算成本,并支持解析导数以适配包含执行器动力学的非线性求解器。系统还具备在线适应机制,能在检测到显著植物变化时刷新模型,从而在执行器故障及变工况下实现优雅重构与容错控制。
针对现有扩散和流模型的奖励对齐方法依赖多步随机轨迹且难以扩展至确定性生成器的局限,本文提出 ZeNO(Zeroth-order Noise Optimization)框架。
推荐理由:提出无需反向传播的噪声空间优化框架,解决扩散与流模型在不可微生成器上的奖励对齐难题。
论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。
推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。
该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。
推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。
论文介绍 Prior-Informed Adaptation (PIA) 框架,该框架通过在异构低/高保真度仿真轨迹上预训练世界模型,并利用不确定性正则化规划进行在线适应,将仿真轨迹视为存在偏差的先验并在在线阶段修正残差差异。
论文针对 LeWM 等潜在世界模型指出,使用环境范数(如欧氏距离)作为终端代价仅在目标附近有效,远距离会形成虚假低代价盆地导致规划失败。作者提出 Neighborhood Graph Cost (NGC),通过构建训练潜变量的互最近邻图计算流形上的最短路径距离来替代传统代价。
针对具身世界模型长时预测中潜变量演化易偏离物理演化的问题,本文提出结构化动力学框架 HWM,通过在广义坐标与动量构成的学习相空间中表示骨干潜变量,并利用耗散哈密顿动力学进行未来状态传播。
论文揭示了基础模型作为智能体时潜伏投毒攻击的两大风险:无害微调可激活未见过的新危害行为及多种危害行为的共存激活。作者提出 LookAhead Defense 方法,利用投毒者必须保留发布阶段安全行为的特性构建 Safety Buffer,并预览无害微调更新以仅惩罚削弱安全的行为,在跨语言和多模态智能体上将有害行为率从最高 93.9% 降至 14.2%,同时保持低误拒率和竞争力用性。
针对复杂非凸物体的碰撞检测瓶颈,本文提出了 ML-IST 方法,将内球树的叶节点生成重构为基于多通道体素几何的单步集合预测问题,并通过可微覆盖反馈修正残差及轻量级几何投影确保有效性。
针对大语言模型生成的 CAD 装配体常无法实现预期物理功能的问题,本文提出 FunCAD-Harness 框架,将抽象需求转化为候选方案专用的物理测试,利用仿真反馈指导设计迭代。研究构建了涵盖 46 类机械结构的 FunCADBench 基准,实验表明该方法能发现视觉检查难以察觉的机械故障,显著优于标准仿真增强基线。
InfiniDream 是一个由 VLM 驱动的框架,旨在解决现有方法受限于预定义工厂和 API、难以创建新型资产的问题。该框架提出符号约束资产生成与端到端文本到世界管线,在 100 个物体及 20 个场景生成任务上提升了四项感知指标并通过了人类偏好评估。项目页面已公开,代码与权重许可状态待定,相关论文为 arXiv 预印本版本。
该论文提出 Stateful Harness 框架,旨在解决现有世界模型在处理依赖隐状态的导航任务时无法确保动作遵循持久规则的难题。框架将世界演化与视频渲染分离,在指定规则下维护演化的世界状态,并利用冻结的视频模型渲染事件以更新下一轮状态。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
论文介绍 Holi-World 生态系统,整合了经验捕获、世界表征、自动化数据构建、模型学习与独立评估。系统通过结合静态与动态感知自动构建连接场景结构与交互历史的记录,将约 100 个自采集场景整理为包含约 80K QA 对的训练资源用于训练 HOLIWORLD-VL-4B 模型。
Kinematic Age of Information (K-AoI) 提出一种结合瞬时笛卡尔速度的时空同步指标,将时间延迟转化为物理意义上的空间发散。研究在含六自由度机械臂、Unity 数字孪生及七种网络条件的测试床中验证,发现 K-AoI 与 AoI 的秩相关系数在卫星连接下降至 0.22,且拒绝通用帕累托分布假设。
论文提出一种方法,利用冻结的高层世界模型预测器训练轻量级的目标条件网络,以替代传统规划中昂贵的候选轨迹搜索过程。该方法在离线轨迹上仅使用回溯目标和状态预测损失进行训练,无需宏观动作标签或搜索解的目标。
针对视频模型存在的物理幻觉问题,研究提出了二维风险框架并开发 HA-Sampler 与 HA-Scorer。该方法结合外部物理引导与生成器内部信号,在 Physics-IQ 和 VideoPhy 基准测试中优于现有采样与评分的最先进基线。相关代码与数据许可状态待 arXiv 正式注册后确认。
该研究提出了一种针对自动化仓储内货架拣选任务的分析与离散事件仿真(Analytical-DES)基准,涵盖三种货架长度及至多 30 个拣选位共 180 种场景。
针对平面相机游戏(如俯视和等距视角)中动作控制依赖特征条件导致空间不一致的问题,本文提出 ActionRoPE 这一无参数动作接口,将动作驱动的光学位移直接转换为世界坐标旋转位置,使同一世界位置的 token 地址随时间保持不变。
推荐理由:提出 ActionRoPE 接口将动作转化为世界坐标,配合 CNS 调度策略,显著降低平面相机游戏世界的重访漂移并提升控制保真度。