跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 34 页

10月16日周五第 661–680 条
  1. arXiv · 机器人与计算机视觉82

    MUCO:一种面向组合式长程任务的操纵单元结构化框架

    论文介绍 MUCO 框架,通过定义具有局部目标、触发条件和判定标准的操纵单元(MU),实现无需联合训练即可在多个任务间复用策略的能力。系统基于冻结的能力注册表匹配模型,利用视觉验证结果控制状态转移与回退机制,并在 RLBench、RoboTwin 2.0 及五个真实世界任务中评估了其在成功率、错误抑制和跨任务复用方面的表现。材料为 arXiv 预印本版本,未提及同行评审或具体部署许可。

    推荐理由:该工作提出将长程任务拆解为可复用单元并动态编排的策略,在仿真与真实世界任务中验证了跨任务复用能力。

  2. arXiv · 机器人与计算机视觉78

    视觉语言动作模型中世界建模的关键因素研究

    论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。

    推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。

  3. arXiv · 机器人与计算机视觉78

    ACRO:一种用于视觉语言动作策略的演员 - 评论家滚动编排层

    本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。

    推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。

  4. arXiv · 机器人与计算机视觉83

    SPECTRA-VLA:在冻结视觉 - 语言 - 动作接口上的基座微调与超光谱令牌传输

    论文 SPECTRA-VLA 提出一种方法,在不重新训练视觉编码器或动作解码器的情况下,为预训练的视觉 - 语言 - 动作模型提供原生宽度的光谱升级。该方法通过学习到的连续残差丰富每个目标令牌,并利用投影、归一化控制和验证校准的注入来调节变化。

    推荐理由:提出在冻结 VLA 接口上通过连续残差注入提升高光谱识别,无需重训编码器或动作解码器。

  5. arXiv · 机器人与计算机视觉78

    E2DRL:用于四足机器人 3D 避障的端到端可微强化学习

    该论文针对腿式运动控制中硬碰撞约束破坏梯度信号的问题,提出 E2DRL 框架,通过软可微障碍物交互公式与速度条件停止梯度塑造提供训练信号。系统利用 Soft Analytic Policy Optimization 训练的教师在仿真中蒸馏深度基学生策略,并结合地形感知门控模块实现部署。

    推荐理由:提出软可微障碍物交互公式,在四足机器人上实现端到端视觉避障的仿真到现实验证。

  6. arXiv · 机器人与计算机视觉78

    PolyMorph:面向跨形态适应的腿部机器人运动策略学习

    论文提出 PolyMorph 框架,将机器人 URDF 转换为关节连杆模块,结合循环编码器、基于图的 Transformer 和每关节解码器,生成适用于不同腿数和关节配置的单一运动策略。

    推荐理由:PolyMorph 框架通过形态归一化奖励与图 Transformer,实现单策略跨双足、三足及四足机器人的通用迁移。

  7. arXiv · 机器人与计算机视觉82

    Dual-arm Cooperation for Tabletop Wiping with Temporal Object Removal

    该研究提出一种针对桌面擦拭的双臂协作规划框架,旨在解决表面清洁中散落物体的遮挡问题。不同于传统仅覆盖自由区域并绕行障碍物的策略,该方法明确分配一只手臂进行物体重排,另一只执行覆盖式擦拭,从而访问先前受阻区域。

    推荐理由:提出双臂协作框架,通过几何感知任务规划与运动优化,在存在散落物体时显著提升擦拭覆盖率与效率。

  8. arXiv · 机器人与计算机视觉82

    HiFun:一种用于高效功能灵巧操作的层次化框架

    针对多指灵巧手在执行任务时依赖精确接触、协同运动及错误恢复的难点,论文提出 HiFun 分层强化学习框架。该方法将控制复杂度解耦为负责精确接触的‘功能手技能’和负责臂控与激活技能的‘臂手协调策略’。

    推荐理由:提出分层强化学习框架 HiFun,通过解耦手技能与臂手协调策略,在两个灵巧手上实现 98.3% 平均成功率。

  9. arXiv · 机器人与计算机视觉78

    Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

    该研究基于 LIBERO 数据集发现,Vision-language-action (VLA) 策略对特定指令字符串高度敏感,同义改写会导致基线 OpenVLA 成功率下降约 38.0 分。

    推荐理由:揭示指令微调策略对 VLA 模型鲁棒性的影响,指出同义改写无法恢复因指令依赖导致的性能损失。

  10. arXiv · 机器人与计算机视觉78

    $S^3$-Nav:面向语言引导机器人导航的结构化空间语义决策框架

    论文提出了$S^3$-Nav框架,旨在解决部分可观测环境下的语言引导机器人导航问题。该方法不预设完整环境表示,而是增量构建持久化的空间语义状态,仅向高层策略暴露容量可控的任务条件视图。

    推荐理由:该工作提出结构化空间语义决策框架,通过分离持久状态与策略视图提升导航可靠性并降低推理成本。

10月14日周三
  1. Hugging Face Daily Papers78

    SERO:基于可执行预言机续写的长视界智能体强化学习

    该论文针对长视界智能体强化学习中因策略探索失败导致无法有效分配信用的问题,提出 SERO 方法。该方法在恢复当前策略实际到达的状态后,利用仅用于训练的预言机与环境交互,获取下游观测与动作作为监督信号,并通过策略可达性加权优化损失函数。研究在 ALFWorld 和 WebShop 两个基准上验证了该方法的有效性,且推理阶段无需使用预言机。

    推荐理由:提出 SERO 方法,利用可执行预言机续写解决长视界强化学习的监督难题。

  2. Hugging Face Daily Papers78

    DeLoop:通过重复动作作为自监督实现长视界智能体的训练优化

    针对语言模型智能体在长任务中频繁出现重复工具调用(循环)的问题,论文提出 DeLoop 方法。该方法利用智能体自身的 rollout 数据,将循环动作视为负样本、后续非循环动作为正样本,通过直接偏好优化进行自监督训练,无需外部奖励或人工评判。

    推荐理由:提出利用自身循环行为进行自监督训练的 DeLoop 方法,无需奖励或人工评判即可降低长任务中的重复操作并提升成功率。

10月13日周二
  1. Hugging Face Daily Papers85

    Socratic Skill Learning:交错教学与实践以获取可迁移的智能体技能

    论文介绍 Socratic Skill Learning (SSL) 框架,该框架让智能体在专家指导下进行自我练习与技能编写,从而获得可复用的任务知识。研究构建了包含 35 个任务家族和 408 个执行案例的 SkillTransferBench 基准进行测试。

    推荐理由:提出 Socratic Skill Learning 方法,通过 interleaved teaching 提升 Agent 技能复用性,并开源基准与代码。

10月12日周一
  1. arXiv · 机器人与计算机视觉82

    Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams

    论文提出了 ARMS(Always-on Robot in Multi-modal Streams)框架,旨在解决机器人面对无限流任务时所需的持续观察、回忆过去动作及双臂并发执行挑战。

    推荐理由:该工作提出 ARMS 架构,利用预训练骨干与轻量模块解决双臂并发下的持续感知、记忆与行动问题。

  2. arXiv · 机器人与计算机视觉77

    DIDO:将交互中心动力学蒸馏为一步去噪的世界动作模型

    世界动作模型(WAMs)利用视频生成预测机器人操作的未来视觉动态,但迭代去噪引入了闭环控制的额外延迟。研究发现静态背景结构收敛快而夹持器与物体的交互动力学需多步才能显现,直接截断会丢失关键信息。

    推荐理由:针对多步视频生成在闭环控制中的延迟问题,提出 DIDO 方法将交互动力学蒸馏至单步去噪,结合视觉推理 token 与 DINOv3 对齐,显著降低推理耗时并提升操作成功率。

  3. arXiv · 机器人与计算机视觉82

    DRIFT:利用对抗补丁破坏流匹配 VLA 的去噪轨迹

    论文指出流匹配视觉语言动作(VLA)模型如 pi0 声称的抗干扰能力存在幻觉,源于以往攻击忽略了多步去噪常微分方程。作者提出 DRIFT 方法,通过在机器人夹爪上放置单个通用对抗补丁,仅攻击第一个去噪步骤即可破坏任务求解率。实验在四个 LIBERO 套件上的 pi0 和 pi0.5 模型验证了该方法的有效性,其效果远超动作空间和嵌入空间的攻击基线。

    推荐理由:该工作揭示了流匹配 VLA 模型在去噪轨迹上的脆弱性,提出了一种仅需攻击首个去噪步骤的通用对抗补丁方法。

  4. arXiv · 机器人与计算机视觉83

    BrickCraft:基于情境化手动引导的长周期互锁积木组装视觉运动技能组合

    论文提出了 BrickCraft 框架,旨在解决长周期互锁积木组装任务中高层规划与物理执行的鸿沟。该方法采用相对公式建模组装过程,将复杂任务分解为有限可复用的基础技能;利用情境化手动引导(situated manuals)将组装意图投影到实时机器人观测上,提供显式空间指导;并通过模块化执行流水线串联这些基于空间的技能以完成长周期任务。

    推荐理由:提出 BrickCraft 框架,通过相对公式与情境化手动引导实现长周期积木组装技能组合。

  5. arXiv · 机器人与计算机视觉82

    通过神经算子实现软体机器人的无限维闭环逆运动学

    针对欠驱动软体机器人构型空间无限维且难以解析建模的问题,本文提出一种基于神经算子网络的闭环逆运动学算法。该方法将驱动到形变映射与形变到任务映射组合,利用无限维链式法则推导雅可比矩阵,并通过可微神经网络学习复杂的软体动力学模型。研究首先在恒定曲率段进行理论分析,随后在三纤维软体机械臂上验证了基于形态弹性理论和主动丝理论的算法有效性。

    推荐理由:该文提出基于神经算子的无限维闭环逆运动学方法,解决欠驱动软体机器人的控制难题。

  6. arXiv · 机器人与计算机视觉78

    HumanX:从人类视频迈向敏捷通用的类人形交互技能

    HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。

    推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。

  7. arXiv · 机器人与计算机视觉78

    MAGMA-Bench:面向动态任务与执行失败的长周期具身智能体评测基准

    论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。

    推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。