跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 36 页

10月9日周五第 701–720 条
  1. arXiv · 机器人与计算机视觉83

    Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

    针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。

    推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。

  2. arXiv · 机器人与计算机视觉87

    VioLA:从人类数据中学习通用类人机器人控制策略

    论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。

    推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。

  3. arXiv · 机器人与计算机视觉78

    TACROSS:一种跨异构触觉传感器的低成本可扩展人手触摸系统

    针对机器人触觉示教成本高、慢的问题,本文提出 TACROSS 系统,利用成本约 10.86 美元的压阻式手套采集人类触觉演示,并通过接触事件对齐而非原始传感器值对齐来解决与机器人传感器原理和布局的差异。系统在四个富接触操作任务上评估显示,相比传统遥操作效率提升 3.5 倍,示教设备成本降低 95.7%。作者将开源硬件软件系统及包含超 150 小时录制的触觉数据集。

    推荐理由:提出 TACROSS 系统,通过接触事件对齐解决异质触觉传感器差异,实现低成本高效的人触示教转移。

  4. arXiv · 机器人与计算机视觉82

    信息解耦轨迹设计用于仿真到现实系统辨识

    针对采样式系统辨识中轨迹无法区分不同参数效应导致估计不可靠的问题,作者提出了基于舒尔补得分的信息解耦轨迹设计框架(IDTD)。该方法通过归一化分数、选择最优轨迹片段并聚合对数分数的方式,确保每个区间暴露的参数子集贡献明确。

    推荐理由:提出信息解耦轨迹设计框架,在多种仿真与真实机器人上降低参数识别误差并提升策略迁移效果。

  5. arXiv · 机器人与计算机视觉83

    OmniHOI:基于单目视频的灵巧手物交互研究

    论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。

    推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。

  6. arXiv · 机器人与计算机视觉83

    Cross-Embodiment Robot Foundation World Models with Latent Actions 论文发布

    该研究针对机器人本体多样性导致的世界模型难以跨形态泛化的问题,提出了基于潜在动作条件的机器人世界模型(LAC-WM)。该方法在统一的潜在动作空间内运行,相比显式动作条件模型(EAC-WM),能显著提升下游灵巧操作任务及 LIBERO 基准的性能。

    推荐理由:提出基于潜在动作空间的机器人世界模型,在跨形态泛化与下游任务性能上优于显式动作条件模型。

  7. arXiv · 机器人与计算机视觉85

    TacHair:一种用于机器人头发梳理的触觉接触分布引导在线修正方法

    针对变形物体(如头发)在末端执行器上漂移导致局部交互困难的挑战,该研究提出了 TacHair 框架,将高分辨率触觉观测表示为空间头发接触分布。该方法结合视觉 - 触觉模仿策略生成名义动作,并通过独立训练的残差模块进行局部接触偏差修正,实现了任务推进与接触恢复的分离。

    推荐理由:该工作提出基于触觉接触分布的在线修正框架,在真实机器人实验中显著提升了头发梳理任务的成功率与接触保持能力。

10月8日周四
  1. Hugging Face Daily Papers80

    UniSkill:学习用于演化策略的对齐技能提案

    论文介绍 UniSkill 方法,通过共享策略与环境交互以提出技能库编辑(添加、更新或不编辑),利用对比动作反馈测量替换检索技能后的行动对数似然差距来对齐策略,从而避免为每个提案进行昂贵的额外采样。

    推荐理由:UniSkill 提出利用共享策略与对比反馈对齐技能提案,避免为每个提案进行额外采样,在 ALFWorld 和 WebShop 任务中保持高成功率。

  2. arXiv · 机器人与计算机视觉82

    Visible Touch:一种无需架构修改即可利用接触信息的视觉动作策略渲染方法

    论文提出了 Visible Touch 方法,通过将接触信号直接暴露在与场景相同的空间帧中,使任何基于图像的预训练策略(如 VLA)无需架构修改即可利用触觉信息。

    推荐理由:该研究提出将接触信息融入视觉动作策略的新方法,并开源了低成本磁感应传感器与 CAD 模具流程。

  3. arXiv · 机器人与计算机视觉82

    失败边界学习:面向鲁棒的视觉语言动作模型研究

    论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。

    推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。

  4. arXiv · 机器人与计算机视觉82

    Resolving Conflicts Where and When They Arise: Reactive Composition of Multi-Goal Behavior

    该研究针对多目标任务中因静态目标表示导致的失败问题,提出了一种扩展 Active InterCONnect 的方法,通过自适应空域投影动态处理冲突梯度。实验表明该方法在导航和推物任务上优于静态势场与扩散策略,并在真实机器人上成功解决了感知不确定性、关节限制及自碰撞等问题,证明了控制方法可替代部分规划功能。

    推荐理由:论文提出自适应空域投影方法解决多目标冲突,在真实机器人上验证了无需规划即可处理感知不确定性与自碰撞的能力。

  5. arXiv · 机器人与计算机视觉83

    基于人类引导终身代码生成的机器人超长时域操作技能研究

    针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。

    推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。

  6. arXiv · 机器人与计算机视觉84

    行动前先改写:表征与缓解视觉语言动作模型的语意敏感性

    视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。

    推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。

  7. arXiv · 机器人与计算机视觉82

    HuMBLE:基于人类运动驱动的行为学习用于具身移动

    论文介绍 HuMBLE 框架,旨在解决控制器优化于命令跟踪时产生机械步态、而绑定人类数据时泛化能力不足的问题。该方法首先利用自研数据集通过强化学习训练全身参考条件策略,再蒸馏为仅依赖本体感知和平坦躯干速度转向指令的轻量先验策略;随后通过多任务强化学习微调以扩展命令覆盖范围并增强鲁棒性,其中包含跟踪任意命令的目标条件任务和以人类数据为显式风格正则器的参考引导任务。

    推荐理由:提出 HuMBLE 框架,通过教师 - 学生蒸馏与多任务强化学习平衡命令跟踪与人类步态特征,在 Atlas 等真机验证了实时可操控性。

  8. arXiv · 机器人与计算机视觉82

    Video Prediction Policy 2:预测更准、行动更佳

    论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。

    推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。

  9. arXiv · 机器人与计算机视觉85

    Juno:驯化预测潜变量以优化视觉语言动作模型

    论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。

    推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。

  10. arXiv · 机器人与计算机视觉82

    基于可微几何部件修复的按需机器人组装

    该论文提出了一种端到端的自主管道,用于设计和构建定制木制组件。生成式 AI 代理将用户提示转化为初始 3D 几何形状,并通过基于梯度的修复阶段调整组件几何以解决不连续和重叠问题。该方法在 60 个新自然语言输入中实现了 86.7% 的机器人螺丝刀驱动成功率,并在两个 UR5e 机器人上对其中十种结构进行了物理组装演示。

    推荐理由:提出端到端自主设计流程,通过可微几何修复显著提升了机器人组装成功率。

  11. arXiv · 机器人与计算机视觉83

    Point It, Strike It:面向变形线性物体的方向条件动态操控研究

    该论文研究了针对变形线性物体(如绳索)的动态操控问题,提出在指定终点位置及到达方向的目标设定下,通过单摆动作完成打击任务。作者扩展了 DeformX 仿真器至 DeformX2.0,引入 GPU 加速与气动模型以提升效率;提出 TRACE 方法生成带方向约束的打击数据,并训练条件流匹配策略;最后提出 RECAP 残差校准策略以适配真机参数。

    推荐理由:提出 DeformX2.0 仿真器与 TRACE、RECAP 策略,实现变形绳索打击任务从仿真到真机的跨域迁移。

  12. arXiv · 机器人与计算机视觉82

    ResGAC:一种用于全身人形机器人精确末端执行器跟踪的控制器

    针对人形机器人全身运动中的末端执行器精确跟踪难题,该研究提出 ResGAC 控制器,结合几何导纳控制与残差强化学习以补偿未建模动力学并协调运动平衡。实验在 Unitree G1 真机上验证,在四项站立末端跟踪基准测试中均优于 SONIC 等基线;在站立插孔任务中成功率达 90%(SONIC 为 50%),且有效抑制了骨盆运动向期望末端的传播。

    推荐理由:该工作提出结合几何导纳控制与残差强化学习的 ResGAC 控制器,在 Unitree G1 真机上验证了优于基线的末端跟踪性能。