物理 AI:概念、技术与挑战综述
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。
推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。
该论文作为一篇综述,系统回顾了视频世界模型在具身智能中的应用潜力与挑战。文章指出视频模型能生成高保真、物理一致的交互视频,克服了传统物理仿真器的简化假设瓶颈,可作为基础世界模型捕捉细粒度动力学。然而,当前模型仍存在违反物理规律的预测(幻觉)、指令遵循差及数据计算开销大等问题。作者提出了针对安全关键场景的未来研究方向,并提供了精选参考文献列表。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。
推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。
论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。
MindView 基准包含来自三个室内数据集的 513 个场景共 1,500 个样本,涵盖几何主导与语义主导两类任务。评估显示 11 个生成器在扩展上下文下得分均下降,而经 MindView 训练集微调后的 BAGEL 模型整体分数提升 24.3 点且未依赖目标基准标注。提出的无训练开销 MindCue 证据选择器逆转了扩展上下文下的性能下滑并优于标准基线。
针对物理交互成本高且难以扩展的问题,本文提出了 PhysCanvas,这是一个用于接触丰富机器人操作任务的、状态一致的视觉 - 触觉世界模型。该模型统一了多视角 RGB、触觉图像、标记位移、任务状态及动作,共享视频 VAE 和预训练生成骨干网络。
论文提出了 SceneRig 系统,旨在解决仅靠视觉相似性不足以支撑机器人仿真的问题。该系统结合几何、视觉和物理工具重建忠实 3D 场景,并通过智能体在物理模拟器中执行编辑与验证循环以确保物理稳定性。
针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。
论文提出 SuperMimic 方法,通过拟合标准刚体仿真器的日志过渡数据构建单一可微世界模型,与跟踪策略在单循环中联合训练并利用时间反传播获取解析梯度。该方法在单 GPU 上 3 小时即超越基线(128 GPU 训练 7 天),将 GPU 工时降低超 1000 倍,并在 129,514 个基准动作中仅失败 25 次;经过 9.8 小时双 GPU 训练后实现零失败。
推荐理由:该工作提出用可微世界模型统一处理全身运动跟踪,将训练时间从 7 天降至 3 小时且失败率大幅降低。
论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。
推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。
针对生成先验在超分辨率任务中存在的随机性、与基座模型绑定及易产生幻觉等问题,该研究提出 WorldSR 框架。该方法将输入自动分解为语义实体,并从大规模外部语料库中检索结构化和语义对齐的参考图像作为世界知识,结合记忆机制复用结果及多步过滤流程优化候选参考。
Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。
推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。
该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。
推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。
论文针对级联世界 - 动作模型(WAMs)继承扩散预训练专家带来的昂贵迭代推理问题,提出 DirectWAM 方法。该方法通过动作充分蒸馏将预训练的视觉和动作专家转化为单步预测器,无需随机采样即可支持准确的单步动作预测。研究在四个 LIBERO 套件上平均成功率达 97.1%,在 RoboTwin 2.0 上为 85.4%,优于 Flash-WAM,并将推理延迟降低了 28 倍。
该研究提出利用预期自由能(EFE)目标结合目标距离与预测分歧,以决定在潜在世界模型规划中应投入多少计算资源。实验显示,当精英成本停滞时停止细化可降低任务成功率随深度增加而饱和的开销,但大权重下奖励分歧会降低冻结模型的成效。在线更新能在训练数据缺失关键区域时部分恢复损失,不过基于成本进展引导计算在峰值后保护性能仍需动作后果信息。
ReCam 通过分组时空块潜变量直接投影至扩散 Transformer 隐藏空间,结合双指针去噪机制解决长视界生成的历史条件成本与时间漂移问题。该模型在 VBench-Long 评测中取得 80.1 的最高总分,并在 R2M-Bench 场景重现及非屏幕主体重现身的一致性指标上全面领先基线。代码已开源,适用于计算机视觉与人工智能领域的长视频生成任务。
论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。
针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。
arXiv 发布 EndoWorld-JEPA,这是首个专为通用内窥镜视频表示学习设计的潜在世界模型预训练框架。该方法将被动视频预训练重构为因果运动引导的潜在状态预测,利用光流分离主导位移与残差运动,并通过全局 - 局部预测器在表示空间学习可预测的视觉 - 运动动态,无需重建随机外观伪影或依赖机器人运动学。评估显示其预训练检查点在四个下游基准上均表现出强迁移能力。
针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。
arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。
该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。
论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。
推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。
arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。
推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。
针对现有世界 - 动作模型计算成本高或压缩过度丢失细节的问题,提出 PLaCA 框架,直接从多模态输入预测空间结构化的局部未来潜变量变化,并将其显式融入动作生成。
该论文提出 CityPaint 框架,利用丰富的 2D 图像数据和扩散模型生成全局一致的城市级 3D 纹理,无需依赖稀缺的真实城市级 3D 训练数据。该方法结合了几何先验与 2D 扩散模型的生成能力,引入稳健的 top-K 相机烘焙策略进行迭代纹理投影,并针对 2D 到 3D 投影产生的伪影提出了解耦细化机制,分别优化地形和建筑纹理。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
GTSM 提出一种无需预定义三维模型或热力学方程的通用热动力学模块,通过共享场景潜变量与高斯局部状态实现四维时空热场直接恢复。该方法结合可微 RK2 积分器支持连续动态传播,能无缝集成静态与动态高斯泼溅以完成变形目标的渲染及未来时间预测。实验在真实红外序列与合成数据上验证了其在重建精度与时序外推能力上优于现有基线,并证实了对变形目标的有效性。
论文介绍 Beckmann World Models (BWM),该方法将 Beckmann Transport Model 的守恒律适配至动作条件的视频预测,通过端点对齐训练直接从噪声 - 数据对中学习映射,无需预训练生成教师。
论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。
推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。
美国具身大脑公司 Dream Labs 宣布完成种子轮融资,并发布世界动作模型 Dream-1。该模型通过预测末端执行器位姿实现零样本泛化,可控制从未见过的双臂平行夹爪机器人执行新任务。Dream Labs 正式开放 Dream API,提供每小时 3 美元的调用服务及仿真微调选项。测试显示其在性能、速度和成本上具备优势,但零样本成功率在未见任务中约为 9%。
推荐理由:Dream Labs 完成融资并开放 Dream-1 世界动作模型及 API,支持零样本跨机器人控制与仿真微调服务。
Matrix-Game 4.0 是首个基于“可执行游戏框架”设计的系统,通过轻量级引擎维护世界状态、多模态编码代理生成代码及动态描述,以及基于自回归视频模型的渲染器将低多边形代理转化为高保真画面。
SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。
该报告介绍 Sage-A1.5,这是一个基于 A1 的 35B 参数混合专家智能体模型,旨在通过自适应能力组合推进长周期问题解决。相比前代,它不仅能解决单个任务,还能在执行中组织工作并修正方法。
针对黑盒大语言模型智能体缺乏特定环境知识的痛点,研究提出 PAWM(Pitfall Anticipation World Model),该方法仅在出现潜在失败风险时进行干预并预测即将发生的错误以引导智能体避坑。
Vention 物理 AI 实验室利用真实工厂视觉数据及 GRIP 模块化管线,构建能在复杂制造环境中感知、理解并学习的自适应机器人。团队结合经典方法与基础模型(如零样本姿态估计),旨在最小化任务接入成本同时最大化性能,解决实际产线问题。该研究通过客户提供的零部件与执行数据进行训练,确保 AI 系统具备扎实的制造领域知识。
优必选自研的统一多模态世界模型Thinker-WM在WorldOlympiad、EWMBench及WorldArena1.0 Track-1三大具身世界模型基准评测中均取得第一名。
该方法利用稀疏非线性动力学识别技术,从飞行数据中学习显式的物理约束控制效能映射模型。相比高保真在线模型或黑盒驱动方案,该模型在保持相当精度的同时大幅降低计算成本,并支持解析导数以适配包含执行器动力学的非线性求解器。系统还具备在线适应机制,能在检测到显著植物变化时刷新模型,从而在执行器故障及变工况下实现优雅重构与容错控制。