跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 37 页

10月8日周四第 721–740 条
  1. arXiv · 机器人与计算机视觉82

    无需不安全数据即可通过最优性与反事实正则化学习未知约束

    该工作引入 Counterfactual KKT (CF-KKT) 框架,旨在从满足约束的专家行为中推断未知约束。方法首先利用局部学习的可微动力学模型在演示上施加基于 KKT 的最优性条件;其次生成奖励改进的反事实行为以揭示潜在偏好并合成不可行数据。该方法结合了 CIOC 的数据效率与安全性优势及 ICRL 的灵活性,在高维机器人控制任务中展现了优于离线 ICRL 基线的安全性与数据效率。

    推荐理由:提出 CF-KKT 框架,利用局部最优演示与可微动力学模型在无风险探索下恢复未知约束。

  2. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

  3. arXiv · 机器人与计算机视觉84

    多物体多目标投掷的快速规划方法

    论文提出了一种针对物流和仓储自动化的多物体多目标投掷(MOMT)快速规划框架。该方法离线构建可行集模型,在线通过状态匹配与过滤在 5 ms 内生成投掷序列。实验基于配备多指手的 7-DoF 机械臂,仿真显示双物体协同投掷比独立规划快 46%,实物实验确认快 29%。

    推荐理由:该预印本提出了首个多物体多目标投掷统一规划框架,在仿真与实物上验证了通过单次挥臂提升吞吐率的可行性。

  4. arXiv · 机器人与计算机视觉78

    StableGrasp:从单张图像重建物理稳定的手部抓握

    论文提出了 StableGrasp 方法,这是一个基于可微仿真优化的框架,旨在解决仅凭 RGB 图像重建物理稳定人手抓握的难题。该方法将视觉手姿与决定抓取力的控制目标显式分离,通过在可微仿真器中最小化抓取的动能来联合优化几何与控制,同时正则化以保持视觉一致性和几何合理性。

    推荐理由:提出基于可微仿真的优化框架,将视觉手姿与力学控制目标解耦,显著提升了单图重建握持的物理稳定性。

  5. arXiv · 机器人与计算机视觉83

    Workhorse:基于人类数据的鲁棒全身人形机器人位姿规划与操作研究

    论文提出 Workhorse 框架,通过无机器人参与的人类演示数据,分别训练预测躯干、手腕和脚部五连杆目标的视觉规划器及强化学习全身跟踪器。系统在真实 Unitree G1 上展示了分拣盒子、踢球、接住抛掷物以及翻越行李箱的能力,并在有人推搡或拿走物体时保持恢复能力。仿真实验显示,该系统在演示室副本中完成分拣任务的成功率分别为 77%(含干扰)和 83%(无干扰)。

    推荐理由:Workhorse 利用人类演示数据训练视觉规划与强化学习策略,在 Unitree G1 上实现抗干扰的全身操作。

  6. arXiv · 机器人与计算机视觉82

    SAFE:利用低成本声学传感统一检测机器人抓取中的滑移与断裂

    针对机器人抓取易碎物体时的状态感知难题,论文提出了 SAFE 方法,该方法无需视觉或先验材料知识,仅通过两个被动 PVDF 声学传感器和电机本体感知即可实时检测滑移与断裂。

    推荐理由:提出基于低成本声学传感器的滑移与断裂检测方案,在未知材质下实现高准确率闭环控制。

  7. 盖世汽车 · 汽车资讯76

    临界点OmniHand 3 Ultra完成苏绣精细操作演示

    临界点(AGILINK)宣布其旗舰灵巧手OmniHand 3 Ultra在苏州向红绣府完成了上绷、劈丝、捏针等多道苏绣工序,成功实现0.01毫米级丝线操作。该产品采用全直驱传动与21个主动自由度,配备指尖视触觉传感器及DUET双层具身接触智能架构,通过强化学习实现了复杂工序的连贯控制。目前OmniHand 3 Ultra已开启预订,累计交付量超1.5万台,位居国内灵巧手市占率第一。

    推荐理由:原文展示了OmniHand 3 Ultra在苏绣非遗场景下的精细操作能力,验证了其在极细丝线处理与长时序动作规划上的实际表现。

10月7日周三
  1. arXiv · 机器人与计算机视觉82

    FineART:面向双臂操作的细粒度标注数据集与视觉语言动作模型

    作者开源了 FineART 数据集和 FineART-VLA 模型,旨在解决现有数据缺乏长程多步骤双臂任务支持的问题。该数据集包含 40,543 集(共 1,718 小时)跨越 151 个任务的轨迹及 533,913 个子任务标注。

    推荐理由:作者开源了包含超 4 万集双臂任务的数据集与 VLA 模型,通过细粒度子任务标注将长程任务成功率从 16% 提升至 76%,并支持零样本泛化。

  2. arXiv · 机器人与计算机视觉78

    原子运动坐标:面向语言可引导与力响应操作的几何化方法

    该论文提出原子运动坐标(Atomic Motion Coordinate),通过结合文本指令与前向运动学构建几何化坐标系,并将接触历史注入动作专家块以增强力适应性。

    推荐理由:提出原子运动坐标方法,在离线干预与真实机器人实验中显著提升了语言可引导性与力适应性能。

  3. arXiv · 机器人与计算机视觉82

    VT-MUSE:面向操作的视觉 - 触觉多模态统一序列表征学习

    VT-MUSE 是一种针对视觉 - 触觉操作的多模态统一序列表征学习框架。现有方法常独立编码视觉和触觉观测后再融合,限制了捕捉细粒度跨模态依赖的能力,且大多关注当前时间步而忽视接触的时间演化。

    推荐理由:VT-MUSE 框架通过跨模态时序对齐与掩码一致性学习视觉触觉联合表征,在仿真基准上超越最强基线 11 个百分点,并在真实实验中取得显著改进。

  4. arXiv · 机器人与计算机视觉82

    What Enables In-Context Behavior Prompting for Manipulation?

    论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。

    推荐理由:该研究通过基准测试与架构设计,揭示了任务多样性是行为提示生效的关键驱动因素,并开源了相关组件以支持可复现研究。

  5. arXiv · 机器人与计算机视觉82

    BAT:通过在线策略切换平衡敏捷性与稳定性的长时程全身人形机器人控制

    针对长时程任务中精确控制与动态全身行为难以兼顾的挑战,本文提出 BAT 框架,利用 OpVQ-VAE(基于运动 token 的泛化预测)和 OpHRL(闭环状态感知预测),通过 Token-Familiarity Router 根据上下文动态切换控制器。该方法在已见长时程动作组合上达到 85.2% 成功率,未见动作保持 71.3%,并在 Unitree G1 人形机器人上实现零样本部署。

    推荐理由:提出 BAT 框架,通过在线策略切换融合耦合与解耦控制器,在 Unitree G1 上实现长时程全身控制的鲁棒性与泛化性。

  6. arXiv · 机器人与计算机视觉82

    通用稠密奖励用于长周期机器人任务研究

    针对现有机器人基础策略在长周期任务中因分布偏移和误差累积而表现不佳的问题,该研究提出 VLLR 框架。该方法结合大语言模型(LLMs)与视觉语言模型(VLMs)生成外显奖励以识别任务进度,并利用策略自确定性提供内隐奖励指导强化学习微调。

    推荐理由:该工作提出 VLLR 框架,利用大模型分解任务与视觉语言模型初始化价值函数,结合策略自确定性奖励,在无需人工设计奖励的情况下提升长程任务的泛化成功率。

  7. arXiv · 机器人与计算机视觉84

    SimToolReal:面向零样本灵巧工具操作的物体中心策略

    论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。

    推荐理由:提出 SimToolReal 方法,通过仿真生成工具原语实现零样本灵巧操作,在真实世界多任务中优于现有基线。

  8. arXiv · 机器人与计算机视觉82

    LHM-Humanoid:面向杂乱场景的长视界人形运动控制

    论文介绍 LHM-Humanoid 方法,旨在实现物理仿真中无需重置的连续长视界物体搬运任务。该方法通过两个控制器协作,学习将每个周期的终端状态引导至可恢复区域,从而解决端到端强化学习在非常规姿态下失效的问题。实验显示,在跨越四种房间类型的 350 个杂乱布局场景中,该方法在已知和未知场景下的成功率和稳定性均优于端到端 RL、分层 RL 及先前的物理仿真方法。

    推荐理由:该工作提出 LHM-Humanoid,通过学习释放与后退行为解决长视界连续搬运中的状态切换难题。

  9. arXiv · 机器人与计算机视觉77

    QF3:一种基于过滤 Q 梯度的快速流强化学习方法

    论文介绍了 QF3(Fast Flow RL with Filtered Q-Gradients),这是一种在线离线强化学习算法,用于训练流匹配策略以改进预训练行为或从零开始学习机器人动作。

    推荐理由:该工作提出 QF3 算法,实现了对流匹配策略的在线离线强化学习训练,并在人形移动和抓取任务上验证了从演示到硬件的零样本迁移能力。

  10. arXiv · 机器人与计算机视觉83

    PEARS:基于物理先验的高效触觉操作策略适应方法

    针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。

    推荐理由:该工作提出结合物理先验推理与扩散引导的策略适应框架,在触觉操作任务中显著降低试错成本并提升成功率。

  11. arXiv · 机器人与计算机视觉78

    WareFly-VLA:面向智能仓库无人机的视觉 - 语言 - 动作框架与基准

    论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。

    推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。

  12. arXiv · 机器人与计算机视觉78

    基于视觉语言推理的事件驱动型机器人主动协助

    针对协作操作中依赖用户指令的局限,本文提出一种事件驱动的主动协助框架。该框架通过监测工作区状态变化提取前后快照,利用预训练视觉语言模型推断任务上下文并生成可执行的辅助动作序列。实验在三个真实桌面协作任务中验证,无需特定训练或微调即可达到与用户指令版本相当的性能。

    推荐理由:提出事件驱动框架,利用冻结 VLM 在无需微调下实现主动协作辅助。

  13. arXiv · 机器人与计算机视觉78

    iGPC:面向物体感知的类人机器人交互生成式运动先验框架

    针对非结构化环境下类人机器人需结合全身控制与物体交互的挑战,该研究提出 iGPC 框架,将生成式预训练控制器(GPC)从通用人体动作扩展至具身环境交互。通过引入基于场景线索和特权状态信息的交互专家,学习特定接触行为如抓取支撑物稳定或推移动物体;随后利用车载感知输入驱动学生网络蒸馏这些交互技能。实验表明,大规模生成式人体运动先验为在接触丰富的真实环境中学习可部署的类人机器人交互策略提供了有效基础。

    推荐理由:该工作将生成式人体运动先验扩展至具身交互,通过感知驱动的学生网络蒸馏专家策略,在接触丰富的真实环境中学习可部署的交互策略。