跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 35 页

10月12日周一第 681–700 条
  1. arXiv · 机器人与计算机视觉78

    AlphaNIST:从稀疏二元奖励中涌现的装配技能

    论文提出 AlphaNIST 框架,在仿真环境中训练单一策略从零学习 NIST Assembly Task Board #1 上的全部 20 个装配任务,整体训练成功率达 98.2%,无需演示、进度塑形或脚本化原语。该策略还能在同一回合内完成十对零件的无序装配,并涌现出选择后续抓取、利用几何重定向及分步准备等灵巧与规划类行为。材料为预印本,链接指向 arXiv。

    推荐理由:该预印本报告在仿真环境中,仅凭稀疏二元奖励和任务多样性训练出单一策略完成 NIST 装配板全部 20 个任务,无需演示或进度塑形。

  2. arXiv · 机器人与计算机视觉78

    基于固定点流匹配的强化学习方法

    针对最大熵和受约束行为强化学习中最优策略采样困难的问题,本文提出了固定点流匹配(FFM)这一无需训练数据的方法。该方法利用目标流恒等式将演员更新构建为固定点迭代,以评论器的动作梯度作为回归目标进行流匹配风格的优化。实验表明,FFM 能有效微调预训练流策略并支持从零开始的在线强化学习训练,确立了其在不依赖训练数据情况下学习表达性流策略的原则性方法地位。

    推荐理由:提出无需训练数据的固定点流匹配方法,解决在线强化学习中策略分布采样难题。

  3. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  4. arXiv · 机器人与计算机视觉83

    Chronos Policy:在物理时间上学习机器人策略

    针对现有机器人策略将物理时间隐含于序列位置的问题,本文提出 Chronos Policy,通过在扩散 Transformer 中显式利用观测捕获时间和动作执行时间来增强鲁棒性。

    推荐理由:提出显式利用物理时间条件的机器人策略方法,通过时间感知 RoPE 提升动态任务鲁棒性。

  5. arXiv · 机器人与计算机视觉78

    SmolWAM:面向边缘设备的潜在世界 - 动作机器人操作模型

    论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。

    推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。

  6. arXiv · 机器人与计算机视觉80

    ATHLETE:通过轨迹引导的运动匹配学习反应式人形网球

    ATHLETE 是一个从通用运动数据和普通网球视频中学习反应式人形网球技能的框架。该方法结合 LAFAN1 步态与视频衍生的击球动作,利用轨迹引导的运动匹配构建任务条件化的全身参考,并通过基于物理的教师 - 学生学习与在线 DAgger 蒸馏转化为反应策略,最后经 PPO 微调实现无需参考运动输入的部署。

    推荐理由:该工作提出 ATHLETE 框架,利用通用运动数据与视频演示学习人形机器人网球技能,在真实机器人上实现高命中率的多拍对打。

  7. arXiv · 机器人与计算机视觉78

    Robot-WATCHDOG:基于物体中心图表示的机器人操作故障检测

    论文介绍 Robot-WATCHDOG 框架,通过构建物体中心的时空图实现无需显式定义失败模式的自监督故障检测。方法包含非参数化的轨迹投影与相关性评分(TPC)及结合 Transformer 的图注意力网络(GnnT),在公开基准与新数据集上均优于图像基线,尤其擅长捕捉语义和交互级错误。

    推荐理由:提出基于物体中心时空图框架的自监督故障检测方案,在语义与交互级错误上优于图像基线。

  8. arXiv · 机器人与计算机视觉78

    EndoRSI:基于物理证据的内窥镜机器人策略递归改进

    EndoRSI 是一个由嵌入式 EndoForge 编码代理驱动、以物理实验证据进行递归自我改进的人机共驾内窥镜机器人研究系统。物理执行在安全受限运行时且经人类授权下进行。

    推荐理由:该工作提出由嵌入式代理驱动、以物理实验证据递归改进内窥镜机器人策略的系统,展示了从初始失败到最终在六例离体猪标本中表现最优的自主策略演进过程。

  9. arXiv · 机器人与计算机视觉78

    PartiGen:面向语言条件的人形运动生成的部件感知表示

    论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。

    推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。

  10. arXiv · 机器人与计算机视觉82

    CV-OPD:一种解决视觉语言模型后训练中视觉捷径问题的对比式同策略蒸馏方法

    针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。

    推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。

  11. arXiv · 机器人与计算机视觉82

    Human2Dex:基于手腕的灵巧机器人学习与人机演示接口

    针对为每个机械手重复采集特定任务数据的难题,本文提出 Human2Dex,一种将人类观察与运动语义同具身执行解耦的手腕中心演示接口。该方法通过局部外观适配和共享 21 点手部表示对齐观测,利用融合的人手动作重定向构建可执行监督,并引入握持口袋交互表示(GPIR)表达物体相对位置。

    推荐理由:提出基于手腕的人机演示接口,实现跨机械手复用自然人类数据,在六项任务中达成 80.8% 至 90.8% 成功率。

  12. arXiv · 机器人与计算机视觉82

    Belief-Overlap Partial Inversion:面向人形机器人搬运动作的物体中心流重规划

    该研究针对质量与万向节刚度未知的推车任务,提出 Belief-Overlap Partial Inversion(BOPI)框架,将在线估计、基于流的规划与全身控制闭环。

    推荐理由:提出 BOPI 方法解决信念更新时的重规划冲突,在仿真与硬件上显著降低误差并实现非完整约束移动。

  13. arXiv · 机器人与计算机视觉78

    EgoReveal:基于以自我为中心演示的主动视觉与物体操作学习(IROS 2026)

    论文提出 EgoReveal 框架,旨在解决日常环境中物体常被部分遮挡的问题。该框架通过模仿学习,从以自我为中心的演示中同时习得视点重定位策略与物体操作动作,利用两个模仿策略根据目标可见性动态切换:一个预测未来的相机 - 机械臂姿态序列以调整视角,另一个基于物体关键点与控制历史预测未来控制指令。

    推荐理由:提出 EgoReveal 框架,通过模仿学习从以自我为中心的演示中同时习得视点重定位与操作动作,解决部分遮挡下的任务可靠性问题。

  14. arXiv · 机器人与计算机视觉78

    基于世界模型的采样运动规划方法

    论文提出利用视觉世界模型作为树搜索传播器的采样运动规划方法,解决传统优化器在长视界任务中停滞的问题。作者设计了最近邻引导的 RRT 和投影基 KPIECE 两种探索策略,并在四个仿真域及真实推方块任务上验证了该方法在规划时间和成功率上的优势。

    推荐理由:针对长视界任务中优化器停滞问题,提出将采样策略应用于世界模型潜在空间的方法,在仿真与真实机器人实验中均优于传统基线。

  15. arXiv · 机器人与计算机视觉85

    VLMs are Native Action Models:通过显式动作空间定位释放 VLM 的操作能力

    论文介绍 EASG(Explicit Action-Space Grounding)框架,旨在解决将预训练视觉语言模型转化为通用机器人策略的挑战。该方法通过将工具中心点(TCP)坐标系投影到手腕相机观测中,并将连续机器人动作表达为 VLM 原生文本生成接口,使 VLM 能直接利用其现有的视觉 - 空间推理能力生成可执行的动作,无需机器人动作预训练或额外动作模块。

    推荐理由:提出 EASG 框架,利用预训练 VLM 原生文本生成接口实现零样本机器人操作,无需额外动作模块或预训练。

10月9日周五
  1. 量子位78

    Sharpa发布D01通用人形机器人及新一代触觉灵巧手

    Sharpa在IROS现场发布三款产品:一体式触觉感知灵巧操作机器人D01、新一代全触觉超紧凑灵巧手W02以及高保真外骨骼触感数据手套AE01。D01全身覆盖电子皮肤,采样率100Hz;W02将21个主动自由度塞入更紧凑结构,实现零抓握半径与整手触觉覆盖;AE01通过双向接口采集自然手部动作与接触反馈。

    推荐理由:Sharpa发布D01机器人、W02灵巧手及AE01数据手套,构建触觉全栈体系以解决真实场景下的接触感知与闭环控制难题。

  2. arXiv · 机器人与计算机视觉78

    Trust Region Q Adjoint Matching:一种稳定的离线强化学习微调算法

    针对预训练流策略在离线强化学习中因多步采样导致的优化不稳定及 critic 误差放大问题,论文提出 Trust Region Q Adjoint Matching (TRQAM) 算法。

    推荐理由:提出 TRQAM 算法,通过投影对偶下降自适应控制策略空间 KL 散度,解决预训练流策略离线强化学习的优化不稳定性问题。

  3. arXiv · 机器人与计算机视觉83

    LM-X:通过进度、事件和不确定性预测的可解释视觉 - 语言 - 动作建模

    论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。

    推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。

  4. arXiv · 机器人与计算机视觉78

    ActionCodec:面向 VLA 优化的动作分词器设计原则与新模型发布

    论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。

    推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。