跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 13 页

10月23日周五第 241–260 条
  1. arXiv · 机器人与计算机视觉85

    无人类演示的跨城市自动驾驶策略学习:NOMAD 方法

    论文针对自动驾驶在新城市部署成本高、需大量人类演示数据的瓶颈,提出 NOMAD(No data Map-based self-play for Autonomous Driving)方法。

    推荐理由:提出 NOMAD 方法,利用自博弈强化学习仅凭地图信息实现跨城市策略迁移,无需目标城市的人类演示数据。

  2. arXiv · 机器人与计算机视觉83

    Sensorimotor Alignment:具身策略成功的柏拉图代理

    针对机器人基础模型评估成本高的问题,本文提出 Sensorimotor Alignment(S^2),一种无需训练的离线指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现 S^2 与下游机器人任务成功率呈正相关,可作为低成本代理优先筛选模型或识别有潜力的视觉语言模型骨干网络。该工作将柏拉图表示假设扩展至具身智能领域,为理解模型成功原因提供表征层面的解释。

    推荐理由:提出无需训练的离线指标 S^2,通过感知表征与物理运动几何的对齐程度预测机器人任务成功率。

  3. arXiv · 机器人与计算机视觉80

    WorldForge V2:激发视频扩散模型中的相机 - 轨迹对齐

    论文提出了 WorldForge V2 方法,旨在解决视频扩散模型在空间任务中相机控制不精确及时空不一致的问题。该方法采用无需训练的引导框架,利用 warped references 迭代优化生成过程,并通过光流分析分离运动控制与外观特征。

    推荐理由:提出无需训练的引导框架与轨迹 LoRA,在视频扩散模型中实现精确相机控制并保留生成能力。

  4. arXiv · 机器人与计算机视觉78

    基于全身运动引导的不确定性感知顺从性辅助参考生成方法

    该论文针对外骨骼在复杂交互中难以可靠提供辅助的问题,提出一种结合多模态轨迹生成与可变导纳控制的双环策略。系统利用全身人类运动和外骨骼本体感知数据,通过去噪过程合成未来轨迹,并将任务描述作为语义线索。

    推荐理由:该预印本提出结合全身运动与本体感知的双环辅助策略,通过轨迹方差量化不确定性以调节刚度,实验显示能降低肌肉激活与代谢能耗。

  5. arXiv · 机器人与计算机视觉80

    DRILL:通过改进策略而非预测像素来训练世界模型

    论文指出当前世界模型多用于预测下一帧像素,但这并非强化学习中想象回放的唯一目的;作者提出 DRILL 框架,利用下游回报信号更新世界模型。实验显示该方法在五个操作仿真器和两个 VLA 骨干上均能提升策略成功率,且能与 RLVR 预训练互补而非竞争。

    推荐理由:提出 DRILL 框架,证明以策略效用为目标的世界模型训练优于单纯像素预测,在多个仿真器与 VLA 骨干上提升成功率。

  6. arXiv · 机器人与计算机视觉83

    ShadowBench:诊断 VLMs 的阴影推理缺陷及从图像生成模型借用缺失先验

    论文介绍了 ShadowBench 基准,该基准基于真实照片构建正确、无阴影和错误方向三种状态,用于评估视觉语言模型(VLMs)对阴影方向的读取、缺失阴影推断及物理一致性判断能力。

    推荐理由:该研究揭示了 VLMs 在阴影推理上的短板,并证明利用图像生成模型作为先验可显著提升其物理一致性判断能力。

  7. arXiv · 机器人与计算机视觉85

    Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling (arXiv:2610.30724)

    论文提出 VANE 框架,利用冻结语义分词器提供的固定嵌入空间进行下一帧预测,通过因果编码器总结过去观测以推断整个下一帧的表示,并辅以轻量生成解码器重建细粒度细节。

    推荐理由:该工作提出基于嵌入空间的下一帧预测框架 VANE,在统一图像与视频建模及动作预期任务上取得 SOTA 效果。

  8. arXiv · 机器人与计算机视觉78

    PhyEvolve:面向物理感知的视频生成的多智能体状态演化规划方法

    针对现有文生视频模型难以理解用户提示中隐含的物理演化问题,本文提出 PhyEvolve 框架。该框架包含导演、物理演化和作曲三个智能体,通过结构化状态演化规划将自然语言提示转化为具有因果联系的状态转换序列。

    推荐理由:提出多智能体框架通过结构化状态演化规划增强提示词,在不重新训练现有生成模型的情况下提升视频生成的物理一致性与状态连续性。

  9. arXiv · 机器人与计算机视觉78

    AgentDreamer:面向文本可控物理仿真的代理式三维运动推理

    论文提出了 AgentDreamer,这是一个由智能体引导的优化框架,旨在通过显式的三维运动规划将文本指令与仿真运动对齐。给定文本指令和场景几何,现成的智能体将其转化为结构化语义运动先验(指定移动对象、方向及时间顺序),并用参数化函数表示以生成密集三维轨迹。

    推荐理由:提出 AgentDreamer 框架,利用智能体生成语义运动先验并优化可微 MPM 模拟器以对齐文本指令与物理可行运动。

  10. arXiv · 机器人与计算机视觉78

    OASIS:面向动态环境开放词汇检索与导航的在线锚点中心场景推理系统

    针对现有机器人建图方法在语义上下文与计算成本间的权衡难题,论文提出 OASIS 统一系统,利用稀疏锚点节点整合多模态表征以支持推理、验证与导航。系统在仿真和真实环境中演示了复杂开放词汇检索、动态环境导航以及在场景变化后对位移物体的重定位能力。材料为预印本,已获 ACM Multimedia 2026 口头报告录用。

    推荐理由:提出基于锚点的在线推理系统,在仿真与真实环境中验证了动态场景下的开放词汇检索、导航及物体重定位能力。

  11. Hugging Face Daily Papers84

    SkeLAM:一种用于机器人世界模型的骨架引导潜在动作模型

    论文提出了 SkeLAM 模型,旨在解决传统重建驱动方法中机器人运动与环境响应混杂的问题。该方法将潜在动作分解为由机器人骨架监督的刚体运动分量和保留互补视觉动态的残差分量,并通过跨模态交换重构确保两者可互换。

    推荐理由:提出基于骨架引导的潜在动作模型 SkeLAM,通过解耦运动与视觉动态提升机器人世界模型的生成可控性与零样本迁移能力。

  12. NVIDIA Blog · Physical AI82

    NVIDIA Cosmos 开放新工具以训练、评估和部署世界模型

    NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。

    推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。

  13. Hugging Face Daily Papers82

    RynnUnify:迈向统一的具身大脑

    Hugging Face Daily Papers 转述了一篇 arXiv 论文,介绍 RynnUnify 这一 16B 参数规模的统一具身模型。该模型结合视频语言推理实现长视界视觉规划与物理预测,并通过强化学习扩展智能体能力以推断未观测状态,同时开发世界 - 动作扩展将理解转化为机器人控制。

    推荐理由:该预印本介绍了 RynnUnify 统一具身模型,展示了其在视觉规划、物理预测及机器人控制上的实验结果与基准。

  14. Hugging Face Daily Papers82

    WorldCast:具备世界一致性的角色视频生成与大角度相机控制

    针对现有方法难以跟随结合旋转、平移和半径变化的大角度相机轨迹并导致几何失真的问题,该工作提出 WorldCast 框架与 CLACT 基准。WorldCast 通过将初始帧反投影至三维点云并与目标轨迹对齐来提供显式几何引导,同时利用 Geometry-Aligned Memory Attention 机制在统一坐标系下检索注入角色特征以维持身份一致性。

    推荐理由:该工作提出 WorldCast 框架与 CLACT 基准,解决大角度相机运动下的角色几何一致性问题。

10月22日周四
  1. arXiv · 机器人与计算机视觉78

    μ_0:一种可扩展的 3D 交互痕迹世界模型

    论文提出了 μ_0,这是一种基于 3D 轨迹的可扩展世界模型,旨在通过预测物体、工具及接触区域的平滑 3D 轨迹来替代像素重建或直接动作建模,从而实现无需具身特定标签的机器人学习。

    推荐理由:该工作提出基于 3D 轨迹的世界模型,无需动作标签即可实现跨机器人泛化,预训练版本已接受 CoRL 2026。

  2. arXiv · 机器人与计算机视觉78

    反馈式世界模型实现扩散策略的精准引导

    针对世界模型在分布外状态预测不可靠的问题,本文提出一种推理时的反馈机制,利用执行后的真实观测在线校正预测偏差。该方法引入动作感知引导以优化控制翻译,并在 LIBERO-Plus、Robomimic 及实物操作任务中显著提升了策略性能,将预测误差降低最高达 76.4%。实验证明该机制可即插即用,能改进预训练基础模型 Fast-WAM-Joint 的预测效果而无需更新其参数。

    推荐理由:提出推理时反馈机制,无需额外训练即可修正预测误差并提升策略性能。

  3. arXiv · 机器人与计算机视觉78

    物理参数偏移下的因果世界模型

    针对世界模型在物理条件超出训练分布时精度下降的问题,本文研究了输入选择与计算机制两个因果建模组件。在合成基准中,冻结的依赖掩码将 OOD 均方根误差从 1.769 降至 0.697;在 CausalWorld 机器人连杆质量外推任务中,引入显式仿射系数的指端局部世界模型,使已知 PD 控制器下的关节 R2 中位数从 0.609 提升至 0.727。

    推荐理由:该工作通过显式参数化动力学偏置项,使因果世界模型在物理参数发生偏移时仍能保持预测精度。

  4. arXiv · 机器人与计算机视觉82

    PhysiCalWorld:面向世界模型的上下文物理校准

    针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。

    推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。

  5. arXiv · 机器人与计算机视觉84

    CW-WAM:一种用于力敏感操作的结构化接触 - 力矩世界动作模型

    该论文提出 CW-WAM,这是一种联合预测视频、运动和接触力矩的世界动作模型。它采用混合运动 - 力控制灵感,包含统一交互模块和成对因果注意力机制,利用长固定长度力矩记忆保留过去交互信息。

    推荐理由:该工作提出 CW-WAM 模型,结合接触力矩预测与慢快控制架构,将方柱插入成功率从 25% 提升至 70%,为力敏感操作提供了新的参考。

  6. arXiv · 机器人与计算机视觉85

    Test-Time Motion Steering for Perceptive Humanoid Fall Recovery

    论文提出了 RISE 方法,旨在让人形机器人在跌倒后根据场景和任务需求灵活选择恢复姿势与路径。该方法通过学习恢复词汇表连接意图与动作,并利用视觉扩散规划器预测未来状态以引导运动生成。实验在仿真中展示了多样化的恢复策略、地形适应及无需重训练的测试时导向能力,并在宇树 G1 机器人上进行了实物演示。材料为预印本版本,仅包含摘要信息。

    推荐理由:该工作提出 RISE 方法,利用视觉扩散规划器在推理阶段引导人形机器人跌倒恢复策略,支持任务目标导向的多样化动作生成。