跳到正文
  1. arXiv · 机器人与计算机视觉84

    Perception into Imagination:面向物理 AI 的可执行感知记忆世界模型框架

    该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。

    推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。

  2. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  3. arXiv · 机器人与计算机视觉85

    构建真实反应的世界:面向自动驾驶的闭环交互式世界模型

    针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。

    推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。

  4. arXiv · 机器人与计算机视觉82

    可信视频可能导致糟糕决策:诊断与修复用于规划的世界模型

    动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。

    推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。

  5. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  6. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

  7. arXiv · 机器人与计算机视觉77

    当世界即测试套件:面向物理世界的智能体智力综述

    该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。

    推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。

  8. arXiv · 机器人与计算机视觉78

    ARC-2:基于偏差管理的持续合规框架

    本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。

    推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。

  1. arXiv · 机器人与计算机视觉78

    ODEWorld:一种通过物理时间流的连续预测架构

    arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。

    推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。

  2. arXiv · 机器人与计算机视觉78

    SADL:表征坍塌的需求 - 供给几何学分析

    针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。

    推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。

  3. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  4. arXiv · 机器人与计算机视觉78

    翻转测试:视频世界模型未能学会世界状态

    该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。

    推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。

  5. arXiv · 机器人与计算机视觉83

    Frame First, Decode Once:面向系统一世界模型的物体中心坐标与单次解码方法

    论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。

    推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。

  1. arXiv · 机器人与计算机视觉82

    TelePhysica:基于智能体的物理交互式场景重构方法

    TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。

    推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。

  1. arXiv · 机器人与计算机视觉82

    PhysCapBench:首个跨域物理 grounded 视频描述基准发布

    PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。

    推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。

  2. arXiv · 机器人与计算机视觉78

    未来预测分数忽略了什么:关于世界模型的预测还是持续?

    预训练视频世界模型常依据未来预测分数进行选型,但该分数混合了编码器质量、近期相似性及预测器贡献。研究通过匹配对照组在 2.7 万家庭第一人称视频试验中分离三者,发现 V-JEPA 系列内部预测器贡献差异显著,且仅对动作条件化模型为负值。建议报告未来预测分数与其持久性基线的差距以增强可解释性,下游效用需另行评估。

    推荐理由:提出用匹配对照组分离预测分数与编码器效应,建议报告差距而非原始分数以评估世界模型真实性能。

  3. Hugging Face Daily Papers85

    Ropedia Xperience 2:物理 AI 环境与行为扩展的金标准

    Ropedia Xperience 2 是一个包含 1,589 个米级 3D 扫描和 4,230 段第一人称视角录制(涵盖 74 项任务,共 131 小时)的数据集。

    推荐理由:该工作提出将环境采集与行为演示结合作为物理 AI 数据金标准,并展示了从真人动作到机器人轨迹的转换方法。

  4. Hugging Face Daily Papers83

    Actor, Judge, or Teacher? 理解长视界智能体中的决策模型

    论文研究了决策模型在长视界智能体中作为行动者、裁判者和教师的三种角色。实验发现,即使模型在执行任务时表现不佳,只要能在回合结束后准确评估动作后果,就能有效区分有用与无效的动作。作为教师,JEV 模型利用这种能力将 Qwen2.5-1.5B 策略在 ALFWorld 和 WebShop 上的成功率分别提升至 82.9% 和 71.4%。代码已开源。

    推荐理由:研究对比显示,即使作为执行者表现不佳的决策模型,在评估动作后果或指导强化学习时仍能有效提升策略成功率。

  1. 上海人工智能实验室 · 科研动态80

    上海 AI 实验室推出元认知智能体框架书生·太一

    上海 AI 实验室发布元认知智能体框架书生·太一(Sage·Taiyi),旨在解决科学探索中缺乏持续反馈闭环的问题。该框架通过科学搜索与认知调控协同,将科研猜想、路径与实证串联,驱动智能体在方案生成时动态迭代认知。

    推荐理由:上海 AI 实验室推出元认知智能体框架书生·太一,在跨学科科学构思评测中八项指标领先,并已在有机化学、材料设计等领域支撑真实科研闭环。

  2. arXiv · 机器人与计算机视觉78

    无模型运行时任务相关信息测量方法

    针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。

    推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。