跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉68

    Fly as Instructed:面向无人机视觉语言导航的世界 - 动作策略优化研究

    该论文针对现有世界模型主要关注动作预测而缺乏可靠指令遵循、任务进度追踪及安全避障的局限,提出一种融合三种互补机制的世界 - 动作学习框架。具体包括:具备针对性后训练的语言条件化动作接口以响应指令运动;循环指令消耗预测以跟踪任务进度并确定终止时机;以及高斯场景后训练通过轨迹模仿和可微几何反馈增强障碍规避能力。

  2. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  3. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

11月17日周二
  1. arXiv · 机器人与计算机视觉78

    ODEWorld:一种通过物理时间流的连续预测架构

    arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。

    推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。

  2. arXiv · 机器人与计算机视觉70

    线性循环记忆足以蒸馏空气曲棍球世界的策略

    该论文研究了模拟空气曲棍球防守任务,发现即使在没有追踪冰球的临时情况下,控制仍需依赖记忆。研究将 DreamerV3 教师模型蒸馏为具有 64 维状态的紧凑循环策略,结合对角线线性循环与可选的秩 k 非线性创新,而观测编码器和动作头保持非线性。

  3. arXiv · 机器人与计算机视觉78

    SADL:表征坍塌的需求 - 供给几何学分析

    针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。

    推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。

  4. arXiv · 机器人与计算机视觉73

    WA-JEPA:一种用于世界 - 动作模型的基于目标感知的预测性反馈动作细化方法

    WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。

11月16日周一
  1. arXiv · 机器人与计算机视觉74

    学习潜在目标成本以支持视觉世界模型的规划:基于扩展课程的方法

    针对冻结视觉世界模型中图像 - 目标规划依赖预测观测评分的问题,本文提出在预训练 I-JEPA 嵌入上拟合小残差适配器来优化潜在目标成本。该方法利用成功轨迹的观测顺序及失败回滚推断的比较进行学习,无需任务特定进度标签。

11月13日周五
  1. arXiv · 机器人与计算机视觉78

    未来预测分数忽略了什么:关于世界模型的预测还是持续?

    预训练视频世界模型常依据未来预测分数进行选型,但该分数混合了编码器质量、近期相似性及预测器贡献。研究通过匹配对照组在 2.7 万家庭第一人称视频试验中分离三者,发现 V-JEPA 系列内部预测器贡献差异显著,且仅对动作条件化模型为负值。建议报告未来预测分数与其持久性基线的差距以增强可解释性,下游效用需另行评估。

    推荐理由:提出用匹配对照组分离预测分数与编码器效应,建议报告差距而非原始分数以评估世界模型真实性能。

11月11日周三
  1. arXiv · 机器人与计算机视觉58

    振荡处理单元:一种用于生物仿生智能的计算基底

    Alexander A. Wolf 在 arXiv 发布预印本论文,引入振荡处理单元(OPUs)概念,即共享节律的合成神经元组。该架构通过定向交互将输入活动与先验状态转化为振荡占用空间(OOS),支持逻辑数值运算、联想回忆及固定权重下的闭环决策。研究建立了测量关系图谱以支持响应类预测,旨在为生物仿生智能提供经验保留于状态中的计算基底。

  2. arXiv · 机器人与计算机视觉66

    OnlyAct:从基础模型提取动作表示以构建世界模型

    针对视频世界模型训练中动作监督稀缺且难以扩展的问题,本文提出 OnlyAct 方法。该方法不从头学习动作空间,而是利用预训练基础模型(V-JEPA)帧对嵌入中已包含的动作信息,通过无标签对比适应框架在保留场景不变性的同时提取动作表示。研究在机器人操作、相机导航、游戏和驾驶等基准上进行了统一评估,结果显示其生成的世界模型能将演示动作更忠实地迁移到新场景中。

  3. arXiv · 机器人与计算机视觉78

    无模型运行时任务相关信息测量方法

    针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。

    推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。

  4. arXiv · 机器人与计算机视觉78

    预训练潜在世界模型的少样本残差适应

    针对预训练潜在世界模型在部署时因物理动力学改变而失效的问题,本文提出一种无需修改预训练权重或识别具体参数变化的少样本残差适应方法。该方法通过自监督学习从潜在预测误差中获取修正项,同时应用于潜在预测器内部及其预测的潜在状态,且保持预训练世界模型冻结。

    推荐理由:该文提出一种冻结预训练权重的少样本残差适应方法,在质心与摩擦变化场景下恢复机器人控制成功率。

11月10日周二
  1. arXiv · 机器人与计算机视觉58

    Latent World Models with Monotone Planning Costs for Image-Goal Navigation

    该论文针对图像目标导航任务中潜在世界模型的规划成本排序问题,提出了一种基于冻结 DINO 家族编码器的新模型架构。研究定义了预测未来嵌入与目标嵌入之间的余弦距离作为规划成本,并引入自回归展开损失和单调成本排序(MCR)损失来优化多步规划性能。

  2. arXiv · 机器人与计算机视觉49

    $\Sigma$-LeWM:引入反向动力学与逆动力学损失的世界模型学习新方法

    $\Sigma$-LeWM 在 LeWorldModel 基础上增加反向动力学预测器及逆动力学动作预测器,通过额外潜变量损失强化隐空间结构以提升规划效率。该方法已在标准世界模型基准及两个仿真机器人操作任务上验证了性能与效率的双重增益。研究旨在提升此类方法在真实机器人实时基于模型的控制系统中的适用性。

  3. arXiv · 机器人与计算机视觉44

    Simulation-aided Reinforcement Learning with Control Variates 提出保守仿真辅助学习方法,在 MuJoCo 基准任务上优于标准混合策略

    该方法利用控制变量法仅降低学习过程方差而非直接塑造学习目标,适用于策略评估及 Actor-Critic 框架下的策略改进与离线 RL 场景。MuJoCo 基准实验表明其性能优于标准仿真混合方法,论文已作为 NeurIPS 2026 海报被接收并开源代码。

  4. arXiv · 机器人与计算机视觉74

    WMPA:面向机器人嵌入式 AI 的硬件 - 算法协同设计的世界模型规划加速器

    论文提出世界模型规划加速器(WMPA),旨在解决嵌入式设备上运行世界模型时的功耗与热限制问题。研究通过信息论推导了潜状态转换的计算下限,并分析 DreamerV3 风格模型的实测数据,发现其受限于内存带宽且能耗远超 CMOS 物理极限,导致持续计算引发严重过热。

  5. arXiv · 机器人与计算机视觉35

    DreamLander:基于 DreamerV3 的 6-DOF 世界模型强化学习行星着陆算法

    DreamLander 利用 DreamerV3 构建样本高效且泛化性强的模型,解决真实六自由度进入下降着陆问题。该算法在指定着陆区误差小于 2 米、速度范数低于 0.3 米/秒的条件下实现软动力下降,推动端到端解决方案进展。目前为 arXiv 预印本(arXiv:2611.12824),待正式注册 DOI 并投稿至 AIAA SCITECH 2026 Forum。

  6. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  7. arXiv · 机器人与计算机视觉85

    Planners Exploit Deterministic Error: Dithered Low-Bit World Models

    论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。

    推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。

  8. arXiv · 机器人与计算机视觉42

    K-PWM:部分观测下的控制导向结构化双线性世界模型

    K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。

  9. arXiv · 机器人与计算机视觉58

    面向目标条件化潜在规划的动态感知动作学习

    论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。

  10. arXiv · 机器人与计算机视觉35

    LSRP*:支持异步动作的多智能体路径规划可扩展 anytime 算法

    LSRP* 是一种新型 anytime 规划器,能在获取初始解后持续优化直至预算耗尽。该算法在最多 1000 个智能体的多种地图测试中,可处理比 LSRP 多 25% 的智能体并将解成本降低最高 40%。研究针对传统同步动作假设的局限性进行了改进与验证。

11月9日周一
  1. arXiv · 机器人与计算机视觉70

    CLAW:基于对抗正则化的连续潜在动作世界模型

    论文介绍 CLAW,这是一个端到端的自监督框架,能从无动作标注的视频中联合学习世界模型与连续潜在动作表示。方法利用对抗性潜在正则化防止潜在变量编码未来观测,使其捕捉动作结构;扩散式世界模型将环境动态建模为未来观测的分布而非确定性 rollout。

  2. arXiv · 机器人与计算机视觉53

    FATHOM:面向稀疏标记 AUV 跟踪的世界模型引导扩散动作轨迹选择

    针对非线性动力学与退化水下视觉条件下的相对跟踪难题,本文提出 FATHOM 框架。该框架整合结构化标记观测、惯性测量及历史动作,利用多模态任务监督的递归状态空间模型构建预测跟踪信念;通过扩散动作先验生成多条专家级推进器轨迹,并基于学习到的潜在动力学预测未来后果;最终在显式移动视界目标下选择最优候选方案。

11月6日周五
  1. arXiv · 机器人与计算机视觉78

    超越下一步:世界模型引导的多智能体场景中类人导航

    该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。

    推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。

  2. arXiv · 机器人与计算机视觉78

    RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

    论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

    推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

11月5日周四
  1. arXiv · 机器人与计算机视觉78

    Detecting Silent Action-Interface Mismatch with Calibrated Relational World Models

    Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。

    推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。

11月4日周三
  1. arXiv · 机器人与计算机视觉78

    DRAP:面向物理 AI 持续学习的动力学 - 风险自适应可塑性

    论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。

    推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。

  2. arXiv · 机器人与计算机视觉33

    Self-Consistent Neural Control:学习隐式平衡系统的轨迹控制方法

    Self-Consistent Neural Control(SCNC)通过显式控制敏感性变化优化轨迹,解决了物理 AI 中隐式平衡系统学习难的问题。相比副梯度学习和无梯度 iCEM 基线,该方法将薄壁管等复杂结构的稳定优化率从 41.7% 提升至 83.3%,平均损失降低超过 1.5 个数量级。该框架已在弹性杆、测量带及弹簧状结构等可变形物体上验证有效性。

11月3日周二
  1. arXiv · 机器人与计算机视觉84

    基于机器人渲染的因子化世界模型

    该论文提出了机器人因子化世界模型(RoFacto),通过将动作实现与场景响应预测解耦:首先利用控制器和运动学将指令序列转化为无需未来状态的名义轨迹,随后通过 URDF 进行机器人渲染以显式处理几何、运动学和外观。该方法利用末端执行器深度和静态 RGB 上下文构建共享视觉接口,实验表明其优于向量条件基线,支持未见过的机器人本体迁移,并能从重定向的人类演示中生成操作视频。

    推荐理由:提出将机器人动力学与渲染显式分离的世界模型架构,支持跨本体迁移及从人类演示生成操作视频。

  2. arXiv · 机器人与计算机视觉35

    On the Limits of Sampling-Based Reachability:几何、动力学与样本复杂度研究

    针对哈密顿 -雅可比等经典方法随状态维度扩展性差的问题,该研究将基于采样的可达集恢复建模为几何支撑估计。理论证明在初始集补集具有正距离且动力学满足 Lipschitz 连续时,可获 Hausdorff 距离精度保证,但样本复杂度呈指数级依赖状态维与时域。实验证实对抗采样仅改善常数项而无法改变这一内在的指数缩放规律。

  3. arXiv · 机器人与计算机视觉72

    RoboSnap:基于单图生成高保真物理仿真场景的框架与 DROID-Sim 数据集

    该论文提出 RoboSnap 框架,旨在将真实世界场景快速转化为具备物理稳定性和视觉保真度的交互式仿真环境。其核心采用分层设计,对碰撞敏感的交互区域进行精细化处理以确保机器人操作稳定,同时利用 3D Gaussian Splatting 技术保留背景外观以支持新视角下的视觉一致性。

  4. arXiv · 机器人与计算机视觉37

    Gibbs Variational Last Layers 提升长视界动力学学习精度

    Gibbs Variational Last Layers 通过吉布斯变分推断重构训练目标,在合成环境、混沌系统及真实数据上显著优于单步似然训练。该方法结合连续排名概率分数优化多步自回归卷展,大幅改善长视界预测准确性与分布拟合度。论文已获 NeurIPS 2026 接收,代码与权重开放许可待注册。

10月30日周五
  1. Hugging Face Daily Papers58

    CausalWAM:学习世界动作模型中的动作成因

    针对世界动作模型(WAM)难以仅从演示的动作相关潜在变量生成动作的问题,本文提出 CausalWAM 方法。该方法在预训练 WAM 的动作头中增加稀疏路由路径,将导致动作的因果因素与预测依赖分离。理论证明在稀疏约束下,用于生成动作的潜在变量是动作相关变量的可逆函数,且该结构唯一确定(至排列)。实验在合成数据和真实机器人上验证了理论并展示了闭环成功率提升。

10月28日周三
  1. arXiv · 机器人与计算机视觉85

    视频世界模型的潜变量为何与动作相关:预测优于重建

    论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。

    推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。