百度Apollo发布Apollo World世界模型及“2+3”标准
百度Apollo在深圳举行的百度AI Day·Apollo专场上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出世界模型“2+3”判断标准。
同一新闻,精选展示《百度Apollo World世界模型发布:让AI训练AI》
百度Apollo在深圳举行的百度AI Day·Apollo专场上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出世界模型“2+3”判断标准。
同一新闻,精选展示《百度Apollo World世界模型发布:让AI训练AI》
论文 PrimeSim 提出了一种动作条件化的多视图世界模型模拟器,通过渐进式中期训练和后期训练解决动作跟随与多视图一致性难题。该模型在 30,110 小时、22 个平台的数据上预训练,支持刚性及可变形操作任务的长程仿真,并在多个基准测试中领先开源同类模型。作者发布了模型权重、推理代码及训练代码,但材料仅基于 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
推荐理由:原文给出了跨具身演示训练的世界模型架构与代码入口,相关团队可据此评估其仿真一致性与长程规划能力。
Manifold AI 流形空间与京东科技正式签署战略合作框架协议,双方将围绕世界模型在京东场景落地、算力基础设施建设及数据服务方向协同。合作包含推动流形空间具身大脑与京东算力底座深度融合,开发具备行业影响力的大脑 API 产品,并共建前沿技术联合实验室以完善具身智能生态。此次合作旨在打通算法—算力—垂直场景链条,加速国产具身智能技术从研发走向规模化商业验证。
Hao Fei 提出"AI 增强人类智能(AHI)”范式,定义“认知共生体”为嵌入个人运行时、具备感知保持理解行动思考与成长能力的终身伴侣。该研究构建了包含信任机制的共生循环架构,并探讨了从隐蔽协助到强制采用等新型治理风险。论文共 59 页含 21 张图及 18 个表格,已上传至 arXiv(编号 2611.05376)。
11月3日,百度在Apollo Day上首次披露面向物理AI的Apollo World智能体驱动全模态世界模型,提出“2+3”判断标准(因果性、交互性为基础门槛;物理准确性、持久性、实时性为增益属性)。
11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。
推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。
论文研究了布朗运动先验下高斯混合分布间的随机密度控制问题。由于直接求解无闭式解,作者引入升维路径空间构造,将轨迹增广源目标标签,分解为显式的分量间桥接问题及有限维熵耦合分配。
推荐理由:该文提出高斯混合分布的升维路径空间构造,量化了投影间隙与路径空间障碍,为密度控制提供理论边界。
PhysOmni 是一个免训练的框架,能将单张图像转换为具有物理一致性和可控性的视频。该方法通过统一的空间坐标系表示完整场景几何,解决了物体穿插和对齐模糊问题,并实现了准确的场景级多物体交互及复杂的机械控制。
ExeWorldBench 是首个全面评估世界理解与可执行实现的基准,旨在衡量将物理原理转化为代码系统的能力。该基准包含机制可执行性、组合可执行性和意图驱动的可执行世界合成三项任务。实验显示当前前沿模型在构建具有物理交互行为的系统中存在显著局限。
推荐理由:ExeWorldBench 填补了代码化可执行世界建模的评测空白,通过三项任务揭示前沿模型在物理因果理解与实现上的局限。
针对地下矿井无人飞行器(UAV)在不确定运营设计域(ODD)中的安全验证难题,该研究利用 SCALOFT 仿真框架开展突变测试。实验对比了均匀随机生成与模糊逻辑风险优先两种策略,结果显示后者能获得更高的突变分数并更有效暴露难以检测的故障。
该论文提出了机器人因子化世界模型(RoFacto),通过将动作实现与场景响应预测解耦:首先利用控制器和运动学将指令序列转化为无需未来状态的名义轨迹,随后通过 URDF 进行机器人渲染以显式处理几何、运动学和外观。该方法利用末端执行器深度和静态 RGB 上下文构建共享视觉接口,实验表明其优于向量条件基线,支持未见过的机器人本体迁移,并能从重定向的人类演示中生成操作视频。
推荐理由:提出将机器人动力学与渲染显式分离的世界模型架构,支持跨本体迁移及从人类演示生成操作视频。
针对哈密顿 -雅可比等经典方法随状态维度扩展性差的问题,该研究将基于采样的可达集恢复建模为几何支撑估计。理论证明在初始集补集具有正距离且动力学满足 Lipschitz 连续时,可获 Hausdorff 距离精度保证,但样本复杂度呈指数级依赖状态维与时域。实验证实对抗采样仅改善常数项而无法改变这一内在的指数缩放规律。
该论文提出 RoboSnap 框架,旨在将真实世界场景快速转化为具备物理稳定性和视觉保真度的交互式仿真环境。其核心采用分层设计,对碰撞敏感的交互区域进行精细化处理以确保机器人操作稳定,同时利用 3D Gaussian Splatting 技术保留背景外观以支持新视角下的视觉一致性。
论文介绍 MERIS 框架,用于在计算与时序预算有限的动态机器人环境中执行变化的有向无环图(DAG)工作负载。该方法结合比例中间截止时间、MIMONet 感知的图细化及事件驱动同步,明确区分应用 DAG、内部编解码器图和细化调度图的三种表示形式。
Gibbs Variational Last Layers 通过吉布斯变分推断重构训练目标,在合成环境、混沌系统及真实数据上显著优于单步似然训练。该方法结合连续排名概率分数优化多步自回归卷展,大幅改善长视界预测准确性与分布拟合度。论文已获 NeurIPS 2026 接收,代码与权重开放许可待注册。
论文提出了‘面向人类的世模型’(HOWM)这一概念框架,旨在通过整合当前观察、个人历史与环境社会背景来组织持续的状态估计、个性化动力学预测及行动支持。该框架利用动态期望与新观测共同修正状态估计,并基于共享知识与个体经验生成个性化预报;同时引入外部策略将不同条件下的预报与人的目标偏好关联,并利用实际响应结果反哺模型修订。
该预印本论文针对安全关键应用中的在线主动学习(OAL)提出了稳定性理论框架。研究将预测误差作为反馈信号更新结构化深度模型,并证明仅靠输出误差收敛不足以保证全局参数收敛。通过分离输出调节、内部零动力学及层间耦合,结合持续激励与主动阻尼消除残差空模态,利用级联李雅普诺夫分析确立了整体学习过程的渐近稳定性,同时利用单调激活函数和微分同胚映射确保目标参数轨迹的唯一性。
推荐理由:该文提出基于李雅普诺夫稳定性的在线主动学习框架,解决了大规模多层神经网络在动态环境下的参数收敛与稳定性问题。
论文 AuroraWorld 提出一种结构化 4D 世界建模方法,用于从大规模外视角(exocentric)机器人操作视频中合成物理一致且策略相关的内视角(egocentric)观测数据。该方法旨在解决现有技术在处理大幅视点变换、严重遮挡及复杂物体交互时难以生成高质量内视角视频的难题。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验结果。
作者发布了 Isekai3D Synthetic Data Generation (SDG) 平台,旨在为视觉与世界模型研究提供多样化的合成游戏视觉数据。该平台结合可复用资产与 Unreal Engine 插件,采用两阶段工作流:首先进行世界仿真以记录状态、动作和相机轨迹;随后回放录制内容以生成渲染视频、图像及深度图等输出。
WISE 是一种在推理阶段对世界动作模型采样结果进行评分与筛选的方法,通过评估动作有效性、时序规律性、逆动力学一致性及任务进度,从四个候选中执行得分最高者,无需更新模型参数。
该工作论证了现有两个独立组件可构成完整的人体世界模型:KNOWN 负责实时三维人体重建并估计偶然性与认识论不确定性,PhysMoP 负责基于学习动力学项求解欧拉 - 拉格朗日方程以预测未来身体构型。作者定义了两者接口,提出了三种让不确定性进入物理模型的机制,并制定了野外视频评估协议。材料未报告新的实验结果,仅作为 CoRL2026 UncertainWM Workshop 的预印本提交。
TRAILS 是一个自动化框架,可生成包含环境布局、路径及时间参数化运动剖面的完整虚拟导航场景。该工具结合基于约束的程序化环境生成器与优化三次贝塞尔曲线技术,在仅需少量直观用户定义参数的情况下,自动产出满足预设几何与运动学约束的多样化室内场景。代码已公开于相关 URL,适用于遥操作与人机实验研究。
论文提出 History Forcing 统一在线策略蒸馏框架,旨在解决少步自回归视频扩散模型在长序列生成中的一致性难题。该方法利用教师模型在有/无历史信息下的预测残差来解耦监督信号,将历史信息约束融入学生模型的分数或速度预测目标中。
推荐理由:提出 History Forcing 蒸馏框架,利用历史信息约束长序列生成,在 1.3B 参数规模下实现 VBench 质量分 85.07。
Joyjeet Singh 在 arXiv 上发布论文,复现了 Robotic World Model (RWM) 的动力学模型,并针对其后续版本 RWM-U 用于离线策略优化的不确定性估计进行了测试。
推荐理由:作者复现了 Robotic World Model 的动力学模型并测试了其不确定性估计,发现其误差覆盖严重不足且存在缺陷。
arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。
推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。
该论文提出了 OpenNWM 导航世界模型,旨在通过预测未来观测来支持规划,并解决因缺乏动作标注数据导致的泛化受限问题。研究引入了 NavAnywhere 数据集,包含来自 15 个异构来源的 1750 万条无动作导航视频,涵盖地面机器人、人类和无人机在五种场景类型中的运动模式。
针对视频世界模型的预测误差常被误作物理惊奇,该研究提出新评估框架以区分外观、静态内容及普通预测难度。在 IntPhys2 基准上对比发现,V-JEPA2 仅暴露有限的可能性信息,且固定误差阈值会错误标记许多可能事件为不可能。结论表明模型虽能表征物理信息并响应错误动作,但其原生预测误差无法可靠衡量物理惊奇。
GatedVLA 作为 PAI-AV 赛道参赛方案,通过视觉掩码优化策略并在部署端集成规则式自动紧急制动(AEB)模块。该模型在包含 150 个场景的局部闭环评估中,将平均场景得分从 0.479 提升至 0.599,同时将负有碰撞责任的场景数由 34.0 降至 11.0。
该论文研究灵活路线公交(FRT)系统的实时运营控制安全问题,提出 Hi-CoLA 框架以解决强化学习策略缺乏统计性能保证的问题。该方法结合重要性采样、集中不等式与可微代理网络,高效估计高置信度性能下界并通过策略梯度优化。在芝加哥某实际路线的 SUMO 仿真案例中,Hi-CoLA 在平均和尾部风险性能上均优于最先进的离线及安全强化学习方法。材料为预印本,尚未通过同行评审。
论文介绍了 pico-WAM 这一提供物理状态的紧凑世界动作模型,用于追踪策略与动力学交互。研究基于 206 个 Push-T 演示和 15 次训练种子,对比了不同数据 regimes 与搜索配置。
该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。
推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。
针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。
本文提出了一种重建流程,从人类控制和漫游车桅杆相机单目馈送中经验性地量化了对物理地面真值的逼真场景重建精度,并分析了月球遍历效应(如运动模糊、悬浮尘埃导致的雾霾、轨迹偏差和稀疏视角)的影响。
该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。
推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。
论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。
推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。
该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。
推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。
论文提出 Seeing the Unseen 框架,旨在解决现有视频生成方法缺乏显式物理过程建模导致动态不一致的问题。该方法分为两阶段:首先利用轻量级粒子图动力学模拟器(PGDS)从数据中学习泛化物理交互并预测合理的三维运动轨迹;其次构建可见 - 不可见运动场(VIMF),捕捉输入帧中可观测的运动及随时间涌现的物体动态,相比传统物理信号提供更完整和结构化的运动引导。
Pano2BIM 是一款几何约束型视觉语言智能体,能利用已知尺寸的平面图和单张 360°照片生成 LOD 200 级别的近似 IFC4 建筑信息模型。在实验室初步评估中,其测量工作流家具足迹交并比(IoU)达 0.53,优于基线的 0.44,且单次运行耗时约 42 分钟、API 成本仅 11 美元。该研究证明了低成本快速生成竣工 BIM 的可行性,有助于维护反映物理状态变化的数字孪生体。
论文 FORCE 提出一种能从原始视频中推断并显式表示成对物体交互关系的视频世界模型架构,支持直接移除、改变或引入特定物体间的相互作用。该方法利用冻结自监督特征的槽注意力提取物体,通过关系编码器将短时观察窗口转化为力,并在 rollout 过程中保持潜变量固定以确保编辑持久性。
该研究引入协作智能基准(Collaborative Intelligence Benchmark),包含 240 个来自真实记录或现有基准的任务,涵盖拒绝不安全捷径、检查弱模型遗留工作等维度。