跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 28 页

10月20日周二第 541–560 条
  1. arXiv · 机器人与计算机视觉78

    DeReCo:解耦表示与协调学习以实现对象自适应去中心化多机器人协同抓取与搬运

    针对多机器人协同抓取与搬运中对象依赖的表示学习与非平稳性下的协调学习耦合问题,论文提出 DeReCo 框架。该框架采用两阶段训练策略:先在特权信息下学习协调策略,再基于局部观测重构对象依赖表示并重新训练协调策略以实现去中心化执行。

    推荐理由:提出 DeReCo 框架解耦表示与协调学习,在仿真和真实机器人实验中验证了跨物体泛化能力。

  2. arXiv · 机器人与计算机视觉85

    ULTRA:面向人形机器人全身自主运动操作的统一多模态控制框架

    针对现有方法依赖预定义动作参考且难以扩展技能库的局限,该研究提出 ULTRA 统一框架。其核心包含物理驱动神经重定向算法,用于将大规模动捕数据迁移至人形机器人并保持接触交互的物理合理性;以及支持从精确动捕状态到嘈杂自中心视觉输入的通用多模态控制器。

    推荐理由:该工作提出 ULTRA 框架,通过物理驱动重定向与统一多模态控制器,实现从稀疏感知到全身自主 loco-manipulation。

  3. arXiv · 机器人与计算机视觉80

    在线世界建模实现真实世界的观察逆强化学习

    当前机器人学习受限于手工设计奖励、仿真建模或动作监督。本文提出首个仅凭任务观察(如视频)即可学习的逆强化学习方法 IRLfO,并展示了首个在真实世界中从零开始学习视觉操作及跨任务正迁移的演示。MPAIL2 模型在不到 40 分钟内从零基础学习到抓取放置任务达到 82% 成功率,而同等交互和演示预算下的强化学习与行为克隆方法分别仅达 0% 和 12%。

    推荐理由:该工作提出首个基于在线世界模型的视觉操作逆强化学习方法,在真实世界中实现从观察学习抓取放置任务。

  4. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:基于视频学习的具身智能高动态运动与统一鲁棒性恢复框架

    KungfuAthleteBot 是一个针对人形机器人的统一框架,旨在解决从视频学习高动态动作时存在的漂移、信息缺失及鲁棒性不足问题。该工作联合专业武术家构建了高质量数据集,引入物理引导的抛物线轨迹修正以消除高度漂移和抖动,并设计了三阶段课程学习策略。

    推荐理由:该工作提出统一框架,通过物理引导轨迹修正与免教师训练范式,实现了人形机器人从视频学习高动态动作及快速跌倒恢复。

  5. arXiv · 机器人与计算机视觉82

    BFM-Zero:一种用于人形机器人控制的基于无监督强化学习的可提示行为基础模型

    论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。

    推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。

  6. arXiv · 机器人与计算机视觉82

    PhantomTac:利用部署即忘标签劫持机器人触觉系统

    该研究发现了磁触觉传感器存在的物理漏洞 PhantomTac,攻击者仅需在物体表面粘贴厚度约 0.5 mm、无电池的磁性标签即可篡改力感知数据。实验表明,这种隐蔽的攻击能绕过现有抗干扰机制并劫持闭环控制流程,在抓取位置偏移小于 8 mm 时攻击成功率超过 95%,可导致捏碎或掉落物体。论文提出了多模态一致性防御机制以缓解此类物理层安全威胁,相关内容已接受于 ACM CCS 2026。

    推荐理由:研究揭示了磁触觉传感器的物理漏洞,提出了一种无需接触设备的隐蔽攻击方案及多模态一致性防御机制。

  7. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  8. arXiv · 机器人与计算机视觉80

    Physical Words:一种用于机器人操作中结构化潜在推理的词汇表

    该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。

    推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。

  9. arXiv · 机器人与计算机视觉82

    LLM-as-policy 的物理递归自我改进能力来源:一项观测缩放律研究

    本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。

    推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。

  10. arXiv · 机器人与计算机视觉84

    GPT-6 Astra:原生视觉 - 触觉策略用于富接触操作

    GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。

    推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。

  11. arXiv · 机器人与计算机视觉84

    PICA-WAM:通过跨外观自对齐实现视觉扰动不变性的世界动作模型研究

    论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。

    推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。

  12. arXiv · 机器人与计算机视觉78

    DenseHap:基于单目图像的稠密手部触觉估计方法

    针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。

    推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。

  13. arXiv · 机器人与计算机视觉78

    Learn the Task, Not the Schedule:减少双臂模仿学习中的虚假跨臂耦合

    该论文针对双臂演示中存在的虚假时间调度耦合问题,提出了约束保持时序重组(CTR)训练干预方法。该方法在保留记录的手臂局部传感运动内容同时,对对应片段进行重定时以实现可接受的调度方案并维持任务所需的跨臂约束。

    推荐理由:提出 CTR 训练干预方法,在双臂模仿学习中消除虚假耦合,显著提升真实机器人任务成功率。

  14. arXiv · 机器人与计算机视觉84

    面向受限感知场景的多机器人水下结构三维检测 GPU 流水线

    本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。

    推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。

  15. arXiv · 机器人与计算机视觉78

    OmniInteract:面向双类人机器人的统一全身交互控制研究

    该论文针对双类人机器人协作中因形态差异导致的接触界面破坏及技能多样性下的控制保真度下降问题,提出 OmniInteract 框架。通过表面感知重定向技术利用人体与机器人表面的密集对应关系保留交互几何上下文;采用可扩展基于流的交互策略,将全身运动先验与伙伴感知的残差修正解耦,在共享残差动作空间统一两者。

    推荐理由:提出表面感知重定向与可扩展流策略,解决双机器人交互中的形态差异与控制保真度难题。

  16. arXiv · 机器人与计算机视觉82

    PaceVLA:视觉语言动作模型中的自适应时序动作量化

    论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。

    推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。

  17. arXiv · 机器人与计算机视觉82

    基于代码空间的策略搜索:面向多智能体路径规划的研究

    该论文提出了一种利用自主编码智能体直接在代码空间进行策略搜索的新范式,结合了自动化优化与可解释性。研究通过两个案例验证了该方法的有效性:在 2024 年机器人竞速联赛的复杂地图中。

    推荐理由:原文展示了由代码智能体驱动的搜索工作流,在两个复杂多智能体场景中均超越了人工设计与专有方案。

  18. arXiv · 机器人与计算机视觉84

    CondenseVLA:用于高效多帧 VLA 的可学习历史压缩

    论文提出 CondenseVLA,一种具备可学习解码端历史压缩模块的多帧 VLA 策略,旨在解决单纯扩大时间窗口带来的计算冗余与采样僵化问题。该方法利用 VLM 骨干网络缓存的每帧特征,通过可学习查询和多头交叉注意力将观测历史蒸馏为固定数量的 slot token,并辅以正则化项抑制槽位重叠与相关性。

    推荐理由:该工作提出可学习的历史压缩模块,在保持计算效率的同时提升多帧视觉上下文对动作解码的利用效果。

  19. arXiv · 机器人与计算机视觉78

    VLDA:将全量未来预测重构为紧凑的动作可执行过渡建模

    论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。

    推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。

  20. arXiv · 机器人与计算机视觉82

    Learning from Fleet Experience: Collective Experience Learning Across 96 Robots

    论文介绍集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT),利用部署机器人的执行失败上下文从车队共享的成功经验中检索相关轨迹片段作为监督信号更新策略,无需额外收集专家演示或修正动作。

    推荐理由:提出利用车队失败案例检索成功轨迹进行策略更新的集体经验学习范式,在 96 台机器人上实现多任务成功率显著提升。