CaFe:一种因果忠实条件交通场景生成方法
针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。
推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。
针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。
推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。
JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。
推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。
该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。
推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。
推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。
动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。
推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。
针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。
推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。
论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。
推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。
该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。
推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。
本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。
推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。
arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。
推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。
针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。
推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。
推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。
TyphoonWorld 是一种离散 Token 的世界模型,专门针对卫星台风预报生成回归网络平滑后的残差场。该模型以回归预报 Token、最新帧和最佳路径状态为条件,逐层采样残差并加到回归中心上。
推荐理由:该工作提出残差 Token 世界模型,在台风图像概率预测中匹配回归误差并降低对流区域 CRPS。
TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。
推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。
推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。