跳到正文
10月8日周四
  1. arXiv · 机器人与计算机视觉75

    统一运动学表示实现可复用的生物关节力矩估计

    针对现有生理状态估计模型依赖特定传感器配置、难以迁移的问题,研究团队提出以关节运动学作为中间表示来解耦硬件感知与下游估计。该估计器仅使用开源生物力学数据训练,在髋部外骨骼、膝部外骨骼及惯性测量单元(IMU)套件上均有效,RMSE 分别为 0.17 Nm/kg、0.19 Nm/kg 和 0.15 Nm/kg,R2 分别为 0.79、0.62 和 0.85。

  2. arXiv · 机器人与计算机视觉78

    CureWM:诊断与修复机器人世界模型的失败不敏感性

    论文指出当前机器人世界模型存在对动作变化敏感度弱、在已验证失败场景下仍给出成功预测的问题。作者提出 CureWM 方法,通过从成功演示构建替代动作并在仿真或硬件上验证其结果,利用这些受控对比数据微调现有模型。实验显示,该方法显著降低了模型的过度乐观倾向并提升了成败区分能力。代码已在 GitHub 开源。

    推荐理由:针对机器人世界模型对失败不敏感的问题,提出通过构建替代动作并在仿真或硬件上验证结果后进行微调的修复方法。

  3. arXiv · 机器人与计算机视觉82

    FlashNeRD:面向高性能的富接触神经机器人动力学

    论文 FlashNeRD 针对现有神经机器人动力学模型速度慢、仅支持预定义点接触及缺乏双向耦合的问题,提出并行流式架构与通用编码器。实验表明其推理速度比优化版 NeRD 快 55 倍,策略学习(如 ANYmal 运动)加速 3.8 倍,且能完成固定接触模型无法处理的平台攀爬任务。

    推荐理由:FlashNeRD 提出并行流式架构解决 NeRD 速度瓶颈与接触限制,实验显示策略学习加速显著且能处理复杂操作。

  4. arXiv · 机器人与计算机视觉83

    Workhorse:基于人类数据的鲁棒全身人形机器人位姿规划与操作研究

    论文提出 Workhorse 框架,通过无机器人参与的人类演示数据,分别训练预测躯干、手腕和脚部五连杆目标的视觉规划器及强化学习全身跟踪器。系统在真实 Unitree G1 上展示了分拣盒子、踢球、接住抛掷物以及翻越行李箱的能力,并在有人推搡或拿走物体时保持恢复能力。仿真实验显示,该系统在演示室副本中完成分拣任务的成功率分别为 77%(含干扰)和 83%(无干扰)。

    推荐理由:Workhorse 利用人类演示数据训练视觉规划与强化学习策略,在 Unitree G1 上实现抗干扰的全身操作。

  5. arXiv · 机器人与计算机视觉78

    MimicX:一种将策略纳入循环的监督细化框架用于视频驱动的人形运动跟踪

    论文提出了 MimicX 框架,旨在解决基于视觉的人形机器人运动在物理执行中出现的持续失败问题。该方法从重建和重定向的运动开始,利用策略执行反馈来定位困难过渡和受影响的身体区域,并联合调整跟踪目标与重置课程以支持策略延续。

    推荐理由:该文提出利用执行反馈优化视频驱动的人形运动跟踪,在四个核心任务上显著降低误差并延长稳健执行时间。

  6. arXiv · 机器人与计算机视觉73

    无需轨迹数据的轨迹规划:一种流形引导方法

    该研究提出了一种替代传统基于生成模型的轨迹规划方案,通过直接学习状态空间流形几何来构造可行路径,仅需状态观测即可泛化到未见过的起止点对组合。实验表明该方法在 Maze2D 及机器人运动规划基准上有效,在高维双臂规划任务中性能与依赖轨迹数据的监督方法及经典规划器相当,且无需轨迹数据训练。论文已接受于 NeurIPS 2026。

  7. arXiv · 机器人与计算机视觉72

    CIRRA:面向交互家庭任务的具身机器人双级持续指令协调与执行融合

    论文提出 CIRRA 框架,通过语义推理与规则约束结构整合解决机器人执行新指令时的冲突问题。该方法在 CHIRP 基准测试中决策一致率达 74.2%,并在宇树 G1 人形机器人上成功中断技能并插入新任务。材料为 arXiv 预印本,未提及同行评审状态或量产部署结果。

  8. arXiv · 机器人与计算机视觉63

    Taming an End-to-End Autonomous Driving Policy for Urban Navigation of Quadruped Robots

    论文介绍了 Go2-DrivoR,这是一个针对四足机器人城市导航的端到端自动驾驶策略适配框架。该方法通过引入局部帧子目标条件生成轨迹,并将车辆中心评分公式调整为以目标为条件的自我进度项,从而在不重新设计核心解码器的情况下扩展了 DrivoR 用于短视界目标条件本地规划的能力。

  9. arXiv · 机器人与计算机视觉48

    基于因子图与场景图的机器人世界模型综述:面向动态环境的架构模式与挑战

    该综述系统评估了针对动态环境、结合因子图与场景图的机器人世界模型,涵盖表示方法、构建更新流程及下游任务应用。文章重点分析了混合建模架构如何处理不确定性传播、最小感知下的运动可观测性及终身维护等开放挑战,并指出当前缺乏能验证动态下世界模型质量的基准数据集与评估协议。

  10. Hugging Face Daily Papers77

    Long-WAM:在实时控制约束下扩展因果世界 - 动作模型的上下文长度

    该论文提出 Long-WAM 框架,旨在解决实时机器人控制中视觉历史过长导致延迟的问题。核心发现是视频基础模型采用自回归(AR)预训练能更有效地利用长历史上下文。

    推荐理由:该工作提出 Long-WAM 框架,通过自回归预训练显著延长因果世界 - 动作模型的上下文窗口,在真实机器人上实现长视界动态操作的高成功率与实时部署。

10月7日周三
  1. Hugging Face Daily Papers82

    DAEDALUS:从自生成任务启动代理记忆的方法

    针对大语言模型代理缺乏环境操作知识且易重复犯错的问题,该研究提出 DAEDALUS 方法,通过配对探索者与求解者代理,在无先验知识和验证器情况下自生成可解任务并提炼启发式规则存入记忆库。实验显示该方法在 AppWorld、τ²-bench 和 AutomationBench 等基准上相比无记忆基线平均成功率提升最高达 15.9 个百分点,且推理成本低于多数训练任务方法。研究代码与工件已开源。

    推荐理由:该方法通过自生成任务构建无需先验知识的代理记忆,在多个基准上显著提升了成功率并降低了推理成本。

  2. Hugging Face Daily Papers78

    从证据到行动:工具使用智能体的失败模式分析

    论文提出 SafeActBench 基准(656 个案例),研究工具使用智能体在从决策到执行的链条中,常因调查不完整或过早行动导致失败。即使获得必要证据,单步执行可靠但多步工作流仍暴露未解决的前置条件与执行不全问题。材料引入溯源绑定的证据账本与确定性轨迹评估器来追踪信息建立、动作发生及下游依赖满足情况。

    推荐理由:SafeActBench 基准揭示工具使用智能体在决策与执行间存在证据链断裂,静态评估强但交互执行弱。

  3. arXiv · 机器人与计算机视觉65

    FedGuide:面向异构联邦强化学习的扩散先验对齐与价值基线引导方法

    论文提出 FedGuide 框架,利用扩散先验作为行为模型为异构本地策略学习提供个性化数据分布支持,并通过最优传输混合专家机制聚合这些先验以保留异构行为模式。该方法还开发了分布修正估计(DICE)价值基线,为本地策略改进提供低方差且回报感知的引导。

  4. arXiv · 机器人与计算机视觉23

    Ego2World:将第一人称烹饪视频编译为可执行世界以支持信念状态规划

    Ego2World 是一个基于 HD-EPIC 数据集构建的可执行基准,它将第一人称烹饪视频转化为受图转换规则支配的符号世界。该基准强制智能体仅凭局部观测和反馈更新记忆并重新规划,实验表明信念记忆能提升任务完成率并减少重复视觉探索。论文已撤回 v1 版本以避免混淆,当前 arXiv 链接指向 v2 版本(arXiv:2605.13335v2)。

  5. arXiv · 机器人与计算机视觉58

    Completion Aware Guidance for World Action Models

    针对世界动作模型(WAMs)在短片段控制下易产生‘任务未完成想象’的缺陷,本文提出 Completion Aware Guidance (CAG) 这一无需训练的采样方法以引导生成朝向任务完成。实验显示,该方法将 RoboTwin 2.0 子集上的成功率从 64% 提升至 70%,零样本仿真成功率从 69% 提升至 75%,同时将任务未完成想象比例从 79% 降至 40%。

  6. arXiv · 机器人与计算机视觉54

    无捷径:面向流式视频生成的中间流提示切换状态接地过渡

    针对现有流式视频生成器在动态提示切换时存在目标提前实现或跳过必要状态变化的问题,本文提出 SEGUE 框架与 SPANDMD 方法。SEGUE 通过训练免费的规划器解析最新帧并编写过渡提示,将控制交回用户;SPANDMD 利用完整 rollout 评估活跃提示并保留 DMD 残差。

  7. arXiv · 机器人与计算机视觉84

    PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

    PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

    推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。

  8. arXiv · 机器人与计算机视觉65

    基于模型的扩散最优控制用于多机器人运动规划

    针对连续环境中多机器人轨迹规划的组合爆炸与硬安全约束难题,本文提出 Model-Based Diffusion Optimal Control (MDOC)。该方法结合已知动力学模型与控制屏障函数投影,利用冲突基搜索自然扩展至多机场景。仿真实验表明,相比依赖演示数据的基线方法,MDOC 在样本效率、几何平滑度及成功率上均更优,且计算时间更低并生成无碰撞轨迹。

  9. arXiv · 机器人与计算机视觉82

    What Enables In-Context Behavior Prompting for Manipulation?

    论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。

    推荐理由:该研究通过基准测试与架构设计,揭示了任务多样性是行为提示生效的关键驱动因素,并开源了相关组件以支持可复现研究。

  10. arXiv · 机器人与计算机视觉82

    Sensitivity Shaping for Latent Modeling:一种提升生成动力学模型 OOD 检测能力的研究

    该论文针对现有生成动力学模型将学习到的动力学视为固定、依赖事后代理进行分布外(OOD)检测而忽略控制不敏感导致信号抑制的问题,提出支持条件控制敏感性正则化方法。

    推荐理由:针对生成动力学模型对控制不敏感导致的 OOD 检测失效问题,提出支持条件控制敏感性正则化方法,在视觉避障与真实机器人导航实验中提升了异常检测能力。

  11. arXiv · 机器人与计算机视觉80

    Learning Visual Feature-Based World Models via Residual Latent Action

    该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。

    推荐理由:提出基于残差潜在动作的世界模型,在仿真与真实数据集上优于现有方法,并展示了提升策略学习的两项机器人技术。

  12. arXiv · 机器人与计算机视觉82

    BAT:通过在线策略切换平衡敏捷性与稳定性的长时程全身人形机器人控制

    针对长时程任务中精确控制与动态全身行为难以兼顾的挑战,本文提出 BAT 框架,利用 OpVQ-VAE(基于运动 token 的泛化预测)和 OpHRL(闭环状态感知预测),通过 Token-Familiarity Router 根据上下文动态切换控制器。该方法在已见长时程动作组合上达到 85.2% 成功率,未见动作保持 71.3%,并在 Unitree G1 人形机器人上实现零样本部署。

    推荐理由:提出 BAT 框架,通过在线策略切换融合耦合与解耦控制器,在 Unitree G1 上实现长时程全身控制的鲁棒性与泛化性。

  13. arXiv · 机器人与计算机视觉82

    LHM-Humanoid:面向杂乱场景的长视界人形运动控制

    论文介绍 LHM-Humanoid 方法,旨在实现物理仿真中无需重置的连续长视界物体搬运任务。该方法通过两个控制器协作,学习将每个周期的终端状态引导至可恢复区域,从而解决端到端强化学习在非常规姿态下失效的问题。实验显示,在跨越四种房间类型的 350 个杂乱布局场景中,该方法在已知和未知场景下的成功率和稳定性均优于端到端 RL、分层 RL 及先前的物理仿真方法。

    推荐理由:该工作提出 LHM-Humanoid,通过学习释放与后退行为解决长视界连续搬运中的状态切换难题。

  14. arXiv · 机器人与计算机视觉35

    WorldSonus:为物理 AI 世界模型引入实时空间音频合成

    WorldSonus 是一个面向世界模型的交互式视频转音频框架,通过流式因果自回归扩散架构实现 0.41 的实时因子。该框架利用基于分块的提示调度支持动态声音控制,并借助立体声监督确保声学质量与空间配准。实验显示其在开放域基准测试中表现优异,匹配或超越当前双向模型状态。

  15. arXiv · 机器人与计算机视觉39

    Federated Bayesian Surveillance of Mechanical Thrombectomy Adverse Events:手术数字孪生的群体风险层

    研究将群体规模不良事件监测作为手术数字孪生的独立信念层,提出在形式隐私保证下学习该层的联邦贝叶斯协议。基于 FDA MAUDE 血栓清除导管(代码 NRY)的 8,617 份报告基准测试显示,在匹配隐私预算 (ε≈2.09) 下,共轭协议每例测试事件的留样泊松评分为 -5.78,优于差分隐私 FedAvg (-26.58)。

  16. arXiv · 机器人与计算机视觉73

    优化编码器:重新思考神经场的二阶元学习

    该论文提出将潜变量优化视为优化编码器的形式化方法,统一了二阶微分、潜变量参数化和任务监督的角色。作者引入了基于自注意力的等变变换器 Attentive Latent Fields(MetaLF),实现了编码过程与解码器的端到端训练,并在多项式场、图像及 3D 形状重建实验中验证了其提升保真度和支持语义预测的能力。

  17. arXiv · 机器人与计算机视觉65

    通过 JEPA 世界模型中的逆动力学保持不稳定模式

    论文指出联合嵌入预测架构(JEPA)在训练时仅依赖下一步预测和防坍缩正则化无法保证保留系统的不稳定模式,导致控制失效。为此,作者提出在 JEPA 训练中增加动作重建目标(即逆动力学损失),从理论上证明该机制能强制编码器保留有限步可达子空间内的所有状态方向。

  18. arXiv · 机器人与计算机视觉77

    QF3:一种基于过滤 Q 梯度的快速流强化学习方法

    论文介绍了 QF3(Fast Flow RL with Filtered Q-Gradients),这是一种在线离线强化学习算法,用于训练流匹配策略以改进预训练行为或从零开始学习机器人动作。

    推荐理由:该工作提出 QF3 算法,实现了对流匹配策略的在线离线强化学习训练,并在人形移动和抓取任务上验证了从演示到硬件的零样本迁移能力。

  19. arXiv · 机器人与计算机视觉82

    DepthWorld:用于机器人操作的 3D 世界模型

    针对现有视频世界模型缺乏一致 3D 几何的问题,作者提出一种结合学习到的立体深度与联合因子图的校准流程,从同一物理机器人收集的数据集中恢复共享运动学参数及场景外参。

    推荐理由:论文提出结合立体深度与因子图的校准流程,构建支持多视角几何推理的 3D 世界模型。

  20. arXiv · 机器人与计算机视觉84

    CtrlCache:一种加速交互式视频世界模型的控制感知缓存方法

    该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。

    推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。

  21. arXiv · 机器人与计算机视觉65

    RenderBench:基于重建数字孪生的渲染到现实视频迁移基准测试

    RenderBench 是一个包含 12 个重建真实世界场景的基准数据集,涵盖大规模室内环境和第一人称视角,包含静态与动态设置。该基准由视觉几何、神经重建和辅助 3D 创作构建,每个场景被分解为静态物体和动态演员,并注册到捕获相机上。

  22. arXiv · 机器人与计算机视觉78

    RIWANav:用于城市导航的具有自我改进能力的递归世界 - 动作模型

    论文介绍 RIWANav 框架,将世界模型与动作模型(策略)的联合适应定义为任务特定的递归自改进过程。该框架交替进行两轮更新:世界模型通过预测候选动作的视觉后果提供想象反馈以优化策略;改进后的策略构建基于行为新颖性和预测误差的自我课程,筛选专家一致的动作 - 视频对。实验表明该方法优于基线及现有方法,真实世界测试也验证了其实际适用性。

    推荐理由:提出 RIWANav 框架,通过策略与世界模型的递归自改进循环解决长程导航误差累积问题。

  23. arXiv · 机器人与计算机视觉78

    One for All, All for One:基于随机最优控制的协同多智能体扩散引导

    论文提出 Coordinated Multi-Agent Diffusion Steering (CMDS) 框架,将冻结的预训练扩散模型作为可复用的生成原语,通过学习的控制策略协调其反向过程。

    推荐理由:提出 CMDS 框架,通过随机最优控制协调冻结的预训练扩散模型,实现多智能体协同生成与空间约束满足。

  24. arXiv · 机器人与计算机视觉78

    WareFly-VLA:面向智能仓库无人机的视觉 - 语言 - 动作框架与基准

    论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。

    推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。

  25. arXiv · 机器人与计算机视觉38

    稀疏透视下导管导航的信仰状态世界模型:平面概念验证

    该研究提出基于 Cosserat 杆模拟器和粒子滤波器的信念状态世界模型,旨在稀疏 X 射线采集间维持内血管导管导航。在合成平面血管幻象中,该模型以连续速率十五分之一获取观测时,尖端追踪均方根误差为 1.30 mm,接触风险估计的 AUROC 达 0.68。这些结果仅在简化仿真环境中成立,旨在证明校准后的信念状态是稀疏成像世界模型的关键属性,而非临床就绪演示。

  26. arXiv · 机器人与计算机视觉58

    从腿部到轮子:面向移动底盘人形机器人的具身感知人类动作重定向

    针对具备轮式底座、垂直升降和双臂的移动底盘人形机器人,现有基于类人运动学的动作重定向方法不再适用。本文提出任务条件化框架,将重构的人类动作分配给基座、升降和手臂模块:基座负责路径保持与航向稳定并分离转向与平移,升降与手臂负责协同弯曲躯干。