跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 22 页

10月7日周三第 421–440 条
  1. arXiv · 机器人与计算机视觉80

    Learning Visual Feature-Based World Models via Residual Latent Action

    该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。

    推荐理由:提出基于残差潜在动作的世界模型,在仿真与真实数据集上优于现有方法,并展示了提升策略学习的两项机器人技术。

  2. arXiv · 机器人与计算机视觉82

    BAT:通过在线策略切换平衡敏捷性与稳定性的长时程全身人形机器人控制

    针对长时程任务中精确控制与动态全身行为难以兼顾的挑战,本文提出 BAT 框架,利用 OpVQ-VAE(基于运动 token 的泛化预测)和 OpHRL(闭环状态感知预测),通过 Token-Familiarity Router 根据上下文动态切换控制器。该方法在已见长时程动作组合上达到 85.2% 成功率,未见动作保持 71.3%,并在 Unitree G1 人形机器人上实现零样本部署。

    推荐理由:提出 BAT 框架,通过在线策略切换融合耦合与解耦控制器,在 Unitree G1 上实现长时程全身控制的鲁棒性与泛化性。

  3. arXiv · 机器人与计算机视觉82

    LHM-Humanoid:面向杂乱场景的长视界人形运动控制

    论文介绍 LHM-Humanoid 方法,旨在实现物理仿真中无需重置的连续长视界物体搬运任务。该方法通过两个控制器协作,学习将每个周期的终端状态引导至可恢复区域,从而解决端到端强化学习在非常规姿态下失效的问题。实验显示,在跨越四种房间类型的 350 个杂乱布局场景中,该方法在已知和未知场景下的成功率和稳定性均优于端到端 RL、分层 RL 及先前的物理仿真方法。

    推荐理由:该工作提出 LHM-Humanoid,通过学习释放与后退行为解决长视界连续搬运中的状态切换难题。

  4. arXiv · 机器人与计算机视觉77

    QF3:一种基于过滤 Q 梯度的快速流强化学习方法

    论文介绍了 QF3(Fast Flow RL with Filtered Q-Gradients),这是一种在线离线强化学习算法,用于训练流匹配策略以改进预训练行为或从零开始学习机器人动作。

    推荐理由:该工作提出 QF3 算法,实现了对流匹配策略的在线离线强化学习训练,并在人形移动和抓取任务上验证了从演示到硬件的零样本迁移能力。

  5. arXiv · 机器人与计算机视觉82

    DepthWorld:用于机器人操作的 3D 世界模型

    针对现有视频世界模型缺乏一致 3D 几何的问题,作者提出一种结合学习到的立体深度与联合因子图的校准流程,从同一物理机器人收集的数据集中恢复共享运动学参数及场景外参。

    推荐理由:论文提出结合立体深度与因子图的校准流程,构建支持多视角几何推理的 3D 世界模型。

  6. arXiv · 机器人与计算机视觉84

    CtrlCache:一种加速交互式视频世界模型的控制感知缓存方法

    该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。

    推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。

  7. arXiv · 机器人与计算机视觉78

    RIWANav:用于城市导航的具有自我改进能力的递归世界 - 动作模型

    论文介绍 RIWANav 框架,将世界模型与动作模型(策略)的联合适应定义为任务特定的递归自改进过程。该框架交替进行两轮更新:世界模型通过预测候选动作的视觉后果提供想象反馈以优化策略;改进后的策略构建基于行为新颖性和预测误差的自我课程,筛选专家一致的动作 - 视频对。实验表明该方法优于基线及现有方法,真实世界测试也验证了其实际适用性。

    推荐理由:提出 RIWANav 框架,通过策略与世界模型的递归自改进循环解决长程导航误差累积问题。

  8. arXiv · 机器人与计算机视觉78

    One for All, All for One:基于随机最优控制的协同多智能体扩散引导

    论文提出 Coordinated Multi-Agent Diffusion Steering (CMDS) 框架,将冻结的预训练扩散模型作为可复用的生成原语,通过学习的控制策略协调其反向过程。

    推荐理由:提出 CMDS 框架,通过随机最优控制协调冻结的预训练扩散模型,实现多智能体协同生成与空间约束满足。

  9. arXiv · 机器人与计算机视觉78

    WareFly-VLA:面向智能仓库无人机的视觉 - 语言 - 动作框架与基准

    论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。

    推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。

  10. arXiv · 机器人与计算机视觉78

    iGPC:面向物体感知的类人机器人交互生成式运动先验框架

    针对非结构化环境下类人机器人需结合全身控制与物体交互的挑战,该研究提出 iGPC 框架,将生成式预训练控制器(GPC)从通用人体动作扩展至具身环境交互。通过引入基于场景线索和特权状态信息的交互专家,学习特定接触行为如抓取支撑物稳定或推移动物体;随后利用车载感知输入驱动学生网络蒸馏这些交互技能。实验表明,大规模生成式人体运动先验为在接触丰富的真实环境中学习可部署的类人机器人交互策略提供了有效基础。

    推荐理由:该工作将生成式人体运动先验扩展至具身交互,通过感知驱动的学生网络蒸馏专家策略,在接触丰富的真实环境中学习可部署的交互策略。

  11. arXiv · 机器人与计算机视觉78

    AutodidactWAM:从生成视频到机器人动作的跨模态自蒸馏研究

    论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。

    推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。

  12. arXiv · 机器人与计算机视觉78

    OpenWAM:一种用于组合式世界 - 动作模型的开源框架

    论文介绍 OpenWAM 框架,基于 Wan2.2-5B 在超 10,000 小时视频上进行因果机器人 - 视频预训练,并集成动作专家支持多种生成模式。实验显示该框架在 LIBERO 套件和真实双手任务上取得高成功率;反事实监督将逆动力学模型在测试集上的平均成功率从 47.0% 提升至 84.0%,并将前向动力学的结果识别率从 21.1% 提升至 71.3%。

    推荐理由:该工作提出开源框架 OPENWAM,通过因果预训练与可配置架构统一对比不同交互设计,并验证了反事实数据对动力学模型的提升。

  13. arXiv · 机器人与计算机视觉78

    OntoPlan:一种基于本体论的场景表示与代理框架用于可扩展机器人任务规划

    针对大语言模型在长程任务中空间上下文捕捉不足及 Token 成本高的问题,该研究提出 OntoPlan 框架。通过构建对齐对象、空间、关系和状态的共享符号词汇表进行本体论 grounded 场景表示,结合选择性信息检索与目标形式化能力,实现指令解释与可执行计划生成。

    推荐理由:该工作提出基于本体论的场景表示与代理框架,在长程任务中显著降低 Token 消耗并提升成功率。

  14. arXiv · 机器人与计算机视觉78

    PhysLDM:面向高保真可变形仿真的潜空间扩散方法

    PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。

    推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。

  15. arXiv · 机器人与计算机视觉82

    追踪并非永恒:视频世界模型对隐藏物体的保留机制研究

    论文研究了视频世界模型在无法直接观测物体时的信息保持能力。实验发现冻结的 V-JEPA 2 预测器仅能部分保留静止物体,无法保留容器内移动物体,且移动物体痕迹在 0.3 秒内消失;而编码器本身可解码封闭容器内容达 3.5 秒。

    推荐理由:该文通过冻结 V-JEPA 2 预测器与编码器表征对比,揭示了视频世界模型对隐藏物体的保持能力差异及训练引入先验的可行性。

  16. arXiv · 机器人与计算机视觉78

    SharedKV-BT:面向行为树智能体的节点本地类型化决策

    针对自回归模型在行为树决策中存在的延迟问题,该研究提出 SharedKV-BT 方法,利用共享 KV 缓存并行评分候选动作并分离执行系统。实验显示,该方法在机器人操作、移动导航和计算机使用任务上,推理速度比提示匹配自回归解码快 2.36-4.15 倍;在操作任务中,节点本地 Shared-KV 将联合决策准确率从 75% 提升至 94%,闭环成功率从 0% 提升至 60%。

    推荐理由:该工作提出 SharedKV-BT,通过节点本地类型化决策与并行评分,在机器人操作等任务上显著提升了行为树智能体的推理速度与闭环成功率。

  17. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  18. arXiv · 机器人与计算机视觉78

    LEAP:让特权几何监督有效服务于视觉运动学习

    该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。

    推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。

  19. arXiv · 机器人与计算机视觉78

    多层级物体导航的模块化策略学习:用于诊断研究的分解框架

    针对多层级场景中长视界决策导致的稀疏奖励问题,本文提出一种基于模块化框架的诊断性研究。设计分层分解策略将全局策略解耦为楼层内探索策略和楼层间切换策略,并通过蒸馏视觉语言模型的探索逻辑来初始化轻量级楼层内策略。理论分析表明在理想假设下该分解策略与单一全局策略等价。实验结果显示感知性能和爬梯稳定性是多层级导航的主要瓶颈。

    推荐理由:该文提出分层分解框架,通过蒸馏视觉语言模型初始化策略,诊断多层级导航中的感知与爬梯稳定性瓶颈。

  20. Hugging Face Daily Papers82

    VeriFine:面向具身推理的自我改进可扩展验证框架

    VeriFine 是一个代理驾驭框架,旨在解决具身推理中因固定评估器限制而导致的自我改进瓶颈。该框架通过策略与评估器的协同进化实现可扩展验证:利用评分标准诊断失败并构建自适应课程;在进展停滞时,选择性地查询人类指导以校准评估器,使其收敛于物理推理目标。实验表明,该方法能在强化学习和监督微调中持续提升策略与评估能力。

    推荐理由:提出 VeriFine 框架,通过策略与评估器的协同进化解决具身推理中的自我改进瓶颈。