跳到正文
  1. arXiv · 机器人与计算机视觉80

    Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation

    论文提出了 WorldDrive 框架,旨在解决现有驾驶世界模型仅关注视觉表征而忽视运动规划需求的问题。该方法通过统一视觉与运动表征,引入轨迹感知的世界模型以生成符合特定意图的未来场景,并将预优化的编码器转移至多模态规划器中。

    推荐理由:该工作提出统一视觉与运动表征的端到端自动驾驶框架,通过轨迹条件生成未来场景并蒸馏奖励以优化规划策略。

  2. arXiv · 机器人与计算机视觉82

    CaFe:一种因果忠实条件交通场景生成方法

    针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。

    推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。

  3. arXiv · 机器人与计算机视觉85

    JEPA 风格潜在世界模型的规划器 - 硬件协同设计与差分稀疏性制造

    JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。

    推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。

  4. arXiv · 机器人与计算机视觉84

    Perception into Imagination:面向物理 AI 的可执行感知记忆世界模型框架

    该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。

    推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。

  5. arXiv · 机器人与计算机视觉82

    AgentWorld:面向自动驾驶的代理中心化视觉语言动作世界模型

    针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。

    推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。

  6. arXiv · 机器人与计算机视觉85

    Pixel is All You Need:纯像素空间生成模型的推理研究

    arXiv 论文《Pixel is All You Need》系统研究了纯像素空间生成模型(无文本 Token)的推理能力。研究发现,现有视觉生成模块在缺乏底层文本模块支持时无法进行符号推理;而从头训练的纯像素模型能直接在画布上阅读问题、书写中间步骤并输出答案,表现出类似大语言模型的标量行为与规模定律。该研究还验证了单画布共享机制使模型具备跨模态推理能力,且强化学习后训练进一步增强了其推理性能。

    推荐理由:该研究在纯像素空间训练生成模型,发现其具备类似大语言模型的推理能力与跨模态共享画布特性。

  7. arXiv · 机器人与计算机视觉82

    随机多样性窗口:诊断机器人扩散采样中的噪声影响

    该论文针对机器人控制中扩散模型的随机性作用研究不足的问题,引入每步反事实诊断以测试采样噪声对最终输出的影响。研究发现不同配置下噪声诱导的偏差在下游可能放大、收缩或衰减,据此定义“随机多样性窗口”并应用针对性干预策略。实验显示,利用低影响区域替换 DDPM 步骤为 DDIM 跳步,可将网络评估减少最多 40-60%,时钟时间减少最多 85%,且在保持可行性、成本和多样性方面未发现一致变化。

    推荐理由:提出随机多样性窗口诊断方法,揭示去噪过程中噪声影响的时间敏感性,并通过采样干预实现推理加速。

  8. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  9. arXiv · 机器人与计算机视觉85

    构建真实反应的世界:面向自动驾驶的闭环交互式世界模型

    针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。

    推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。

  10. arXiv · 机器人与计算机视觉82

    可信视频可能导致糟糕决策:诊断与修复用于规划的世界模型

    动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。

    推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。

  11. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  12. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

  13. arXiv · 机器人与计算机视觉77

    当世界即测试套件:面向物理世界的智能体智力综述

    该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。

    推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。

  14. arXiv · 机器人与计算机视觉83

    ReLAP:基于 JEPA 空间的循环视频预测进行潜在动作预训练

    论文介绍 ReLAP 框架,该框架在冻结的 JEPA 表示空间内耦合局部逆动力学学习与循环多步预测。共享逆动力学模型从相邻观测推断紧凑连续潜在动作,而潜在世界模型递归预测未来 JEPA 特征以鼓励时间连贯的动态。

    推荐理由:该工作提出在冻结 JEPA 空间内结合局部逆动力学与循环多步预测的潜在动作预训练框架,并在 LIBERO 基准上取得 SOTA 表现。

  15. arXiv · 机器人与计算机视觉78

    DreamFAR:一种支持实时与长视界交互的多样化物体世界模型

    论文提出了 DreamFAR 世界模型,其动力学模型完全基于大规模机器人遥操作数据从头训练,未使用互联网视频预训练。该架构专为机器人原生数据设计,体积显著小于高性能视频生成模型,在商业 GPU 上运行速度达 10 FPS。实验表明,DreamFAR 在预测长视界未来及理解接触与因果关系方面优于现有模型,并展示了策略评估与混合数据协同训练等应用潜力。

    推荐理由:该工作提出无需互联网预训练的机器人原生世界模型,在长时序接触预测上优于现有方法。

  16. arXiv · 机器人与计算机视觉78

    SCAN:面向神经疾病分类的站点感知协作隐私保护视觉语言模型适配方法

    针对全球神经影像数据因隐私规则无法集中化的问题,本文提出 SCAN 框架,允许新站点在不共享患者扫描数据或重新训练的情况下,对 3D 医学视觉语言模型进行本地化适配。

    推荐理由:提出无需共享影像或重训的站点感知协作框架,在保护隐私前提下实现多中心神经影像模型适配。

  1. 量子位85

    AMD完成对World Labs的收购,李飞飞出任执行副总裁兼首席科学家

    AMD正式宣布完成对由李飞飞联合创办的空间智能公司World Labs的收购,交易总估值约82亿美元,采用全股票非公开发行方式。交割于11月13日完成,比最初预计提前。

    推荐理由:AMD以82亿美元全股票收购李飞飞创办的World Labs,完成软硬协同布局。

  2. arXiv · 机器人与计算机视觉78

    ODEWorld:一种通过物理时间流的连续预测架构

    arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。

    推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。

  3. arXiv · 机器人与计算机视觉82

    PRG-Fusion:基于重建证据编排生成先验以合成驾驶视角视频

    针对驾驶场景下视图切换导致的空间退化与生成不一致问题,论文提出 PRG-Fusion 框架,利用稀疏 LiDAR 投影建立几何控制并学习稠密 3DGS 渲染的外观控制。该方法根据重建证据将像素划分为保持、修复和生成三类区域,分别执行外观保留、结构修正和内容补全,在 Waymo 数据集上实现了具有优异视觉质量与几何保真度的新轨迹视频合成。

    推荐理由:提出 PRG-Fusion 框架,利用重建证据在可靠区域保持内容、受损区域修复结构、无支撑区域生成新视图,实现高几何保真度的驾驶轨迹视频合成。

  4. arXiv · 机器人与计算机视觉82

    LatentUM:通过潜在空间统一模型释放交错跨模态推理潜力

    论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。

    推荐理由:该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。