地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。
推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。
该预印本研究了 LLM 在具身机器人中的安全依赖问题,发现可通过管理接口在未认证情况下替换人格设置和系统提示词。实验表明配置层攻击路径能引发物理硬件行为变化,而推理层的对抗输入被抵抗。
推荐理由:研究揭示了具身智能机器人管理接口存在配置层攻击漏洞,证明仅靠推理层的拒绝无法阻止未授权指令修改。
JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。
推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。
该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。
推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。
针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。
推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。
动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。
推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。
该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。
推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。
本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。
推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。
arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。
推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。
该论文提出了一种针对扭矩控制机械臂的紧凑型无偏交互误差模型预测控制(MPC)方法。该方法基于操作空间抵消原理,将交互建模为可预测量,利用力域随机游走状态估计持久交互与模型误差,并通过 30 变量凸二次规划映射修正。
推荐理由:作者提出一种面向力控机械臂的预测性交互误差 MPC,在仿真与实物 UR5e 上验证了其对持续负载的无偏跟踪能力。
论文针对无车道线场景(如雪地道路)下的车辆编队行驶问题,提出了一种基于弧长参数化的航迹参考控制框架。研究指出若仅跟随前车会导致误差累积,而结合领航车与前车的航迹可保持误差有界。此外,文章分析了乘客与货物载荷及轮胎刚度变化对曲率前馈系数的影响,并设计了自适应律以在线估计该系数、消除弯道稳态偏移。仿真验证了十一辆车辆编队的控制效果。
推荐理由:该文提出了一种基于航迹参考的编队横向控制方法,通过自适应前馈补偿载荷不确定性带来的稳态偏差,确保任意长度编队的误差有界。
论文针对传统哈密顿 - 雅可比(HJ)可达性需重求解的缺陷,提出一种条件化可达性模型。该方法通过限制障碍物影响范围使值函数具有局部性,仅需读取机体坐标系下的局部窗口即可训练并迁移至任意规模场景。
推荐理由:提出条件哈密顿 - 雅可比可达性方法,通过子解学习确保误差保守侧,实现毫秒级场景准备与极低碰撞率。
针对图像无法表征接触力的问题,ForceHarness 提出一种无需演示或微调的框架,通过自终止力原语闭环控制并翻译力迹为带不确定性的物理量。在真实机械臂上,该方法将 GPT-6 Astra 的零样本成功率从 3.3% 提升至 90.0%,并在仿真基准中超越基于演示的策略及手写专家控制器。作者还构建了 HiddenPhys 七任务 MuJoCo 基准以评估隐藏物理变量下的性能。
推荐理由:ForceHarness 让冻结模型无需微调即可利用力控提升零样本成功率,HiddenPhys 基准验证了其在隐藏物理变量任务上的表现。
论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。
推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。
论文针对 Koopman 控制器在潜空间稳定但无法稳定非线性物理系统的矛盾,提出 Tangent-Invariant Koopman (TIK) 方法。该方法通过离线估计局部植物线性化并强制一阶匹配,恢复拟合的 LQR 增益并在大机动中捕获状态依赖的动作。
推荐理由:提出 Tangent-Invariant Koopman 方法,通过一阶匹配解决潜空间线性模型在非线性物理系统上的稳定性问题。
论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。
推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。
针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。
推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。
推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。