跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 21 页

10月8日周四第 401–420 条
  1. arXiv · 机器人与计算机视觉78

    Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation

    该论文针对自动驾驶视频延续中面临的自回归过程‘生成退化’挑战,提出了 STRIDE(STructural RegIsters for Decoupled Extrapolation)大视觉模型架构。

    推荐理由:提出 STRIDE 架构,通过语义前瞻机制缓解自回归生成中的结构退化问题。

  2. arXiv · 机器人与计算机视觉82

    RoboJEPA:基于联合嵌入预测架构的多具身机器人潜在世界模型扩展研究

    论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。

    推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。

  3. arXiv · 机器人与计算机视觉82

    目标条件策略学习中的信息视界诅咒:长视域训练损害泛化与性能

    论文指出在目标条件策略学习中存在‘信息视界诅咒’,即增加目标重标视域会显著降低策略的泛化能力和性能。研究通过控制实验解耦了训练时的采样视域与测试时的执行视域,发现即使仅评估邻近子目标序列,基于行为克隆的策略也会因长视域训练而严重退化,而强化学习目标可缓解此问题。

    推荐理由:研究发现目标重标视域过大导致泛化性能下降,通过短视域策略雅可比矩阵蒸馏至长视域策略可显著提升组合操作任务表现。

  4. arXiv · 机器人与计算机视觉82

    HuMBLE:基于人类运动驱动的行为学习用于具身移动

    论文介绍 HuMBLE 框架,旨在解决控制器优化于命令跟踪时产生机械步态、而绑定人类数据时泛化能力不足的问题。该方法首先利用自研数据集通过强化学习训练全身参考条件策略,再蒸馏为仅依赖本体感知和平坦躯干速度转向指令的轻量先验策略;随后通过多任务强化学习微调以扩展命令覆盖范围并增强鲁棒性,其中包含跟踪任意命令的目标条件任务和以人类数据为显式风格正则器的参考引导任务。

    推荐理由:提出 HuMBLE 框架,通过教师 - 学生蒸馏与多任务强化学习平衡命令跟踪与人类步态特征,在 Atlas 等真机验证了实时可操控性。

  5. arXiv · 机器人与计算机视觉82

    GeoCoTDrive:面向自动驾驶的显式几何思维链视觉语言动作模型

    针对现有 VLA 模型在自动驾驶中存在 2D 语义理解与 3D 几何需求不匹配的问题,本文提出 GeoCoTDrive 框架。该框架遵循“先以 2D 思考、再以专用 3D 先验驱动”的范式,首先定位决策关键区域的 2D 特征,随后从几何基础模型中检索局部化 3D 先验并交织进自回归上下文以支持轨迹生成。

    推荐理由:提出 GeoCoTDrive 框架,通过显式几何思维链将 2D 视觉理解与 3D 规划先验结合,在多基准测试中提升端到端自动驾驶的安全性。

  6. arXiv · 机器人与计算机视觉82

    Video Prediction Policy 2:预测更准、行动更佳

    论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。

    推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。

  7. arXiv · 机器人与计算机视觉85

    RealtimeWAM:如何实现世界动作模型的实时运行?

    针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。

    推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。

  8. arXiv · 机器人与计算机视觉85

    Juno:驯化预测潜变量以优化视觉语言动作模型

    论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。

    推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。

  9. arXiv · 机器人与计算机视觉83

    TERRA:通过学习可迁移的潜在动作进行机器人策略控制

    论文提出 TERRA 方法,利用紧凑的时间效应表示和关系对齐机制,学习能从视觉过渡中推断出的可迁移潜在动作代码。该方法通过效果锚定传输(EAT)解决潜在动作在不同初始状态下意义一致性问题,在冻结线性读取器下比 UniVLA 更准确且抗干扰更强。

    推荐理由:提出通过时间效应表示与关系对齐学习可迁移潜在动作,在 LIBERO 基准上平均成功率达 93.4%,优于 UniVLA。

  10. arXiv · 机器人与计算机视觉78

    Robo-COP:通过部署实现机器人编排器与策略的协同进化

    针对 VLA 策略在真实部署中泛化不足且受限于固定编排器的瓶颈问题,论文提出 Robo-COP 框架,使编排器与策略在部署过程中协同进化。该方法从自身执行中筛选技能演示,仅在能解决重复性失败时微调策略,并在新策略提升原有技能表现后才采纳。

    推荐理由:提出 Robo-COP 框架,通过编排器与策略协同进化解决泛化瓶颈,仿真成功率提升约9个百分点。

  11. arXiv · 机器人与计算机视觉78

    CureWM:诊断与修复机器人世界模型的失败不敏感性

    论文指出当前机器人世界模型存在对动作变化敏感度弱、在已验证失败场景下仍给出成功预测的问题。作者提出 CureWM 方法,通过从成功演示构建替代动作并在仿真或硬件上验证其结果,利用这些受控对比数据微调现有模型。实验显示,该方法显著降低了模型的过度乐观倾向并提升了成败区分能力。代码已在 GitHub 开源。

    推荐理由:针对机器人世界模型对失败不敏感的问题,提出通过构建替代动作并在仿真或硬件上验证结果后进行微调的修复方法。

  12. arXiv · 机器人与计算机视觉82

    FlashNeRD:面向高性能的富接触神经机器人动力学

    论文 FlashNeRD 针对现有神经机器人动力学模型速度慢、仅支持预定义点接触及缺乏双向耦合的问题,提出并行流式架构与通用编码器。实验表明其推理速度比优化版 NeRD 快 55 倍,策略学习(如 ANYmal 运动)加速 3.8 倍,且能完成固定接触模型无法处理的平台攀爬任务。

    推荐理由:FlashNeRD 提出并行流式架构解决 NeRD 速度瓶颈与接触限制,实验显示策略学习加速显著且能处理复杂操作。

  13. arXiv · 机器人与计算机视觉83

    Workhorse:基于人类数据的鲁棒全身人形机器人位姿规划与操作研究

    论文提出 Workhorse 框架,通过无机器人参与的人类演示数据,分别训练预测躯干、手腕和脚部五连杆目标的视觉规划器及强化学习全身跟踪器。系统在真实 Unitree G1 上展示了分拣盒子、踢球、接住抛掷物以及翻越行李箱的能力,并在有人推搡或拿走物体时保持恢复能力。仿真实验显示,该系统在演示室副本中完成分拣任务的成功率分别为 77%(含干扰)和 83%(无干扰)。

    推荐理由:Workhorse 利用人类演示数据训练视觉规划与强化学习策略,在 Unitree G1 上实现抗干扰的全身操作。

  14. arXiv · 机器人与计算机视觉78

    MimicX:一种将策略纳入循环的监督细化框架用于视频驱动的人形运动跟踪

    论文提出了 MimicX 框架,旨在解决基于视觉的人形机器人运动在物理执行中出现的持续失败问题。该方法从重建和重定向的运动开始,利用策略执行反馈来定位困难过渡和受影响的身体区域,并联合调整跟踪目标与重置课程以支持策略延续。

    推荐理由:该文提出利用执行反馈优化视频驱动的人形运动跟踪,在四个核心任务上显著降低误差并延长稳健执行时间。

  15. Hugging Face Daily Papers77

    Long-WAM:在实时控制约束下扩展因果世界 - 动作模型的上下文长度

    该论文提出 Long-WAM 框架,旨在解决实时机器人控制中视觉历史过长导致延迟的问题。核心发现是视频基础模型采用自回归(AR)预训练能更有效地利用长历史上下文。

    推荐理由:该工作提出 Long-WAM 框架,通过自回归预训练显著延长因果世界 - 动作模型的上下文窗口,在真实机器人上实现长视界动态操作的高成功率与实时部署。

10月7日周三
  1. Hugging Face Daily Papers82

    DAEDALUS:从自生成任务启动代理记忆的方法

    针对大语言模型代理缺乏环境操作知识且易重复犯错的问题,该研究提出 DAEDALUS 方法,通过配对探索者与求解者代理,在无先验知识和验证器情况下自生成可解任务并提炼启发式规则存入记忆库。实验显示该方法在 AppWorld、τ²-bench 和 AutomationBench 等基准上相比无记忆基线平均成功率提升最高达 15.9 个百分点,且推理成本低于多数训练任务方法。研究代码与工件已开源。

    推荐理由:该方法通过自生成任务构建无需先验知识的代理记忆,在多个基准上显著提升了成功率并降低了推理成本。

  2. Hugging Face Daily Papers78

    从证据到行动:工具使用智能体的失败模式分析

    论文提出 SafeActBench 基准(656 个案例),研究工具使用智能体在从决策到执行的链条中,常因调查不完整或过早行动导致失败。即使获得必要证据,单步执行可靠但多步工作流仍暴露未解决的前置条件与执行不全问题。材料引入溯源绑定的证据账本与确定性轨迹评估器来追踪信息建立、动作发生及下游依赖满足情况。

    推荐理由:SafeActBench 基准揭示工具使用智能体在决策与执行间存在证据链断裂,静态评估强但交互执行弱。

  3. arXiv · 机器人与计算机视觉84

    PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

    PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

    推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。

  4. arXiv · 机器人与计算机视觉82

    What Enables In-Context Behavior Prompting for Manipulation?

    论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。

    推荐理由:该研究通过基准测试与架构设计,揭示了任务多样性是行为提示生效的关键驱动因素,并开源了相关组件以支持可复现研究。

  5. arXiv · 机器人与计算机视觉82

    Sensitivity Shaping for Latent Modeling:一种提升生成动力学模型 OOD 检测能力的研究

    该论文针对现有生成动力学模型将学习到的动力学视为固定、依赖事后代理进行分布外(OOD)检测而忽略控制不敏感导致信号抑制的问题,提出支持条件控制敏感性正则化方法。

    推荐理由:针对生成动力学模型对控制不敏感导致的 OOD 检测失效问题,提出支持条件控制敏感性正则化方法,在视觉避障与真实机器人导航实验中提升了异常检测能力。