跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 4 页

11月17日周二第 61–80 条
  1. arXiv · 机器人与计算机视觉85

    Acting by Intent, Reacting by Sight:面向实时 VLM 智能体的视觉条件反射方法

    论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。

    推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。

  2. arXiv · 机器人与计算机视觉78

    Robustness as a Transferable Skill: Cross-Task Adversarial Defense for Vision-Language-Action Policies

    该研究针对视觉语言动作(VLA)策略易受对抗扰动的问题,提出一种无需目标侧对抗训练即可复用源任务防御能力的跨任务防御方法。作者引入 Source-Norm Transferable Robustness Vector (SN-TRV) 技术,仅利用源更新均值方向并校准幅度,将其应用于目标视觉编码器,无需额外推理模块或梯度优化。

    推荐理由:提出无需目标侧对抗训练的跨任务防御复用方法,通过源更新迁移提升 VLA 策略鲁棒性。

  3. arXiv · 机器人与计算机视觉82

    硬负样本微调如何影响多模态大语言模型?来自组合基准的受控证据

    论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。

    推荐理由:该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。

  4. 智东西 · 机器人82

    MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验

    MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。

    推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。

11月16日周一
  1. 盖世汽车 · 汽车资讯82

    星动纪元 XHAND 1 Pro-U 限量发售并嵌入英伟达 GR00T 2 生态

    星动纪元于 11 月 16 日面向全球限量发售高自由度五指灵巧手 XHAND 1 Pro-U,仅 40 只。该产品围绕英伟达 GEAR DexUMI 外骨骼与 GR00T 2 世界模型重构架构,实现机械同构以支持高质量数据采集与真机执行。在香蕉酸奶、舀取麦片等三项任务中,搭载该灵巧手的机器人配合 GR00T 2 分别达到 60%、80% 和 75% 的完整任务成功率,优于前代版本。

    推荐理由:星动纪元限量发售与英伟达 GR00T 2 生态联动的灵巧手,提供硬件基础以打通从外骨骼数据采集到真机自主执行的完整链路。

  2. arXiv · 机器人与计算机视觉82

    E0:通过 Tweedie 离散扩散实现表达性细粒度动作预测

    针对现有视觉语言动作(VLA)模型在多样化任务中泛化能力弱、动作输出粗糙或不稳定的问题,本文提出 E0 框架。该方法将动作生成建模为量化动作 token 的迭代去噪过程,利用 Tweedie 离散扩散机制自然对齐基于 token 的推理逻辑,支持细粒度且可执行的精细控制,并避免了掩码式离散扩散的分布失配问题。

    推荐理由:提出基于 Tweedie 离散扩散的 E0 框架,解决 VLA 模型动作生成粗糙与泛化不足问题。

  3. arXiv · 机器人与计算机视觉78

    CS-MPC:不确定性下非线性系统的收缩认证采样模型预测控制

    论文提出了针对非线性机器人系统在参数不确定性、干扰及在线揭示的安全约束下的追踪与安全方法。该方法在每个采样展开中使用收缩认证的追踪反馈以集中展开,并通过分位数收紧的离散时间控制屏障函数条件验证输入执行。

    推荐理由:提出收缩认证采样模型预测控制方法,在 rover、四旋翼及小行星着陆任务中验证了其在参数不确定性与安全约束下的有限样本稳定性与概率安全性。

  4. arXiv · 机器人与计算机视觉78

    VLAN:面向多主体的视觉语言可访问导航基准

    VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。

    推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。

  5. arXiv · 机器人与计算机视觉84

    重型机械杂技:通过强化学习实现滑移装载机动态控制

    该论文展示了利用强化学习(RL)结合仿真到现实(sim-to-real)迁移技术,成功自动化了复杂液压驱动的重型机械——John Deere 332G 滑移装载机的极限动作。策略使机器能够自主完成两轮平衡、跨越崎岖地形、绘制指定轨迹及旋转等高难度杂技动作,此前这些操作仅由少数精英人类操作员在世界纪录级别的表演中实现。

    推荐理由:作者展示强化学习在仿真中训练的策略成功迁移至现实,实现了推土机在两轮平衡状态下跨越崎岖地形并自主完成高难度杂技动作。

  6. arXiv · 机器人与计算机视觉82

    PROOF:通过分布外回退实现腿部运动的感知鲁棒性

    论文提出 PROOF 框架,采用两阶段师生学习范式显式建模感知可靠性,使 Unitree Go2 四足机器人在严重视觉干扰下仍能维持稳定运动。方法在正常条件下支持高动态跑酷动作,并在遮挡或光照变化时抑制不可靠的外界特征输入。该工作为 CoRL 2026 投稿的预印本,评估基于搭载 RealSense D435 深度相机的真实世界设置。

    推荐理由:提出基于分布外回退的感知鲁棒性框架,在视觉退化下保持四足机器人运动稳定性。

  7. arXiv · 机器人与计算机视觉78

    Objectives as Policies:面向接触丰富操作的视觉语言模型成本程序框架

    该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。

    推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。

  8. arXiv · 机器人与计算机视觉78

    通过身体对齐虚拟关节跨人形机器人复用运动控制训练配方

    针对现有传输模型未标准化策略接口导致难以跨机器人复用的问题,本文提出在上游映射层引入身体对齐的虚拟关节空间。该方案使策略动作与观测遵循统一解剖学约定,并通过确定性运动学层将虚拟目标映射到原生坐标,保持底层控制栈不变。实验在三种不同腿部轴布局的人形机器人及宇树 G1 硬件上验证,证明该方法能准确跟踪、保持足部对齐且训练稳定,并将航向漂移降低近六倍。

    推荐理由:提出身体对齐虚拟关节空间,在三种不同构型人形机器人上复用同一强化学习策略,显著降低航向漂移。

  9. arXiv · 机器人与计算机视觉78

    VACO:基于顶点对齐的解码方法实现单图密集手部接触估计

    arXiv 发布论文 VACO,针对单张 RGB 图像进行密集手部接触估计任务,提出顶点对齐解码器以解决传统直接预测器中顶点无锚定导致的接触涂抹问题。该方法通过 MANO 顶点采样局部特征,联合训练重建与接触预测,无需辅助重建器即可在推理时预测位置。

    推荐理由:该预印本提出顶点对齐解码器解决单图密集手部接触估计难题,在五项基准上刷新 SOTA 并提升下游交互重建效果。

  10. arXiv · 机器人与计算机视觉78

    跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究

    Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。

    推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。

  11. arXiv · 机器人与计算机视觉78

    模仿策略学习本体感知锚点:感知噪声的预测定律及其闭环成本

    针对机器人操作任务中模仿策略在训练时利用本体感知信息(proprioceptive anchor)来折扣感知噪声的现象,本文给出了一个基于方差比 $eta = V/(V + s^2)$ 的解析公式。

    推荐理由:论文揭示了模仿策略如何利用本体感知锚点修正感知噪声,并在闭环部署中验证了该机制对成功率的预测能力。

  12. arXiv · 机器人与计算机视觉78

    欠功率双摆的自然摆动上升方法

    针对电机扭矩仅占肩关节重力矩约 6% 的欠功率直接驱动平面两连杆机器人,本文提出沿其非线性正常模态进行摆动上升的方法。该方法将输入力矩分解为功率中性的转向分量与标量泵送分量,利用基于模型的误差率约束构建线性规划以最大化能量注入,无需稳定化反馈增益。硬件实验验证了沿两种模式的摆动上升能力,并与求和截断及优先稳定化策略进行了对比。

    推荐理由:原文提出利用非线性模态控制欠功率双摆,通过线性规划分配能量注入与稳定化输入。

  13. arXiv · 机器人与计算机视觉78

    Grounding Object-to-Object Hazard Reasoning into 3D Risk Fields for Task-Conditioned Safety

    该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。

    推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。

  14. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

11月14日周六
  1. The Decoder · Robotics80

    Runway 开源机器人控制模型 Praxis-1

    AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。

    推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。

  2. Hugging Face Daily Papers82

    The Value of Thinking: Learning When to Reason in Hybrid Decision Models

    论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。

    推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。