跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 8 页

11月10日周二第 141–160 条
  1. arXiv · 机器人与计算机视觉78

    GAP:一种用于灵巧钢琴演奏的通用化适应先验框架

    针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。

    推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。

  2. arXiv · 机器人与计算机视觉82

    BetaGrasp:基于抓取分类标签的攀岩握点灵巧抓取策略

    论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。

    推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。

  3. arXiv · 机器人与计算机视觉78

    Flip Anything with Agentic Robotics Self-Learning

    该研究提出利用代理在物理仿真中进行自学习以掌握翻动物体的基础操作技能。通过迭代学习,系统逐步习得手递手、推倒、抓取感知及薄物体操控等子技能,将任务成功率从 24.7% 提升至 95.0%。最终生成的基于图形的代码集成了高层策略选择与反应式控制,已验证可在实体机器人上实现多阶段翻动物体操作。

    推荐理由:论文展示代理在物理仿真中自主习得翻动物体技能,成功率从 24.7% 提升至 95%,并生成可迁移到实体机器人的代码。

  4. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  5. arXiv · 机器人与计算机视觉78

    Fade to... Red? 调度彩色噪声支持高效且低抖动的机器人学习

    针对连续控制中的探索问题,本文系统研究了从白噪声到红噪声的线性调度策略及其对 Fetch 机械臂和 Shadow Dexterous Hand 在稀疏奖励操作任务上的影响。研究发现,训练结束时的噪声颜色不影响最终性能,但向红噪声过渡可将所有任务的探索动作抖动减半。研究建议将向红噪声过渡的调度器作为离线机器人学习的默认配置,以平衡学习效率、最终表现与运动平滑度。

    推荐理由:研究证实训练后期向红噪声过渡的策略,在保持学习效率的同时显著降低动作抖动,可作为离线强化学习的默认探索方案。

  6. arXiv · 机器人与计算机视觉82

    DASH:面向人形机器人灵巧操作的延迟无关视觉语言动作模型扩展

    论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。

    推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。

  7. arXiv · 机器人与计算机视觉78

    何时信任适配:用于可迁移视觉语言提示的上下文融合

    针对视觉语言模型在新类别或领域上的适配问题,该方法通过保留冻结与提示后的四分支预测,结合局部置信度与集合频率偏差进行仲裁。在 ImageNet 上训练后,其在十个跨数据集基准的平均准确率达 69.96%,刷新 ImageNet-S 记录至 52.21%,并在基类到新类的迁移任务中达到 79.77% 的新类别准确率。代码已公开。

    推荐理由:提出上下文自适应融合方法,在跨数据集基准上超越现有提示微调技术并刷新 ImageNet-S 记录。

  8. arXiv · 机器人与计算机视觉78

    PAIR:一种基于本体感知对齐的图像射线表示方法,用于提升操作任务的视角鲁棒性

    针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。

    推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。

  9. arXiv · 机器人与计算机视觉85

    Planners Exploit Deterministic Error: Dithered Low-Bit World Models

    论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。

    推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。

  10. arXiv · 机器人与计算机视觉78

    基于数据的软螺旋体机器人精密控制方法

    作者提出一种基于绝热谱子流形理论的纯数据驱动方法,从硬件平台采集的数据中学习五维非线性常微分方程以建模软体螺旋体躯干机器人的动力学。该方法结合模型预测控制方案,在包含静态与动态约束的二维至三维闭环轨迹跟踪任务中实现了实时精密控制。

    推荐理由:基于硬件采集数据学习软体机器人动力学模型,在闭环轨迹跟踪任务中精度优于现有线性方法与无模型强化学习。

  11. arXiv · 机器人与计算机视觉83

    BAT-WAM:连接动作与触觉的世界 - 动作模型用于灵巧手

    BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。

    推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。

  12. arXiv · 机器人与计算机视觉83

    MemSurg:用于机器人辅助手术的场景与工作流理解的结构性记忆框架

    MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。

    推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。

  13. arXiv · 机器人与计算机视觉81

    ReSkill:面向机器人操作的 selective self-improvement 框架

    本文提出 ReSkill 框架,用于解决组合式操作任务中的自我改进问题。该框架利用代码智能体构建以对象为中心的任务图,定位执行失败节点,并在任务层级优化阶段组织与恢复路线,在技能层级增强感知、运动等能力。

    推荐理由:提出 ReSkill 框架,通过定位局部缺陷与验证候选变更实现机器人操作能力的选择性自我改进。

  14. arXiv · 机器人与计算机视觉83

    Grip, Trace, Write:面向高自由度机器人书写的力感知模仿与强化学习框架

    论文提出 Grip, Trace, Write 框架,构建力感知仿真环境以解决传统刚性安装笔的局限。该方法采用双分支 Actor 解耦握笔稳定性与手臂腕部书写动作,保留闭环耦合关系;训练流程先通过行为克隆初始化逆运动学演示,再利用墨水、接触力、时间和握持奖励进行强化学习优化。实验表明该策略在多种任务中提升了完成度、精度和效率,且无需微调即可泛化到未见过中英文内容,为灵巧工具使用提供了测试基准。

    推荐理由:该工作提出力感知仿真环境,通过双分支策略解耦握笔与书写并强化学习优化,在未见中英文内容上实现泛化。

  15. arXiv · 机器人与计算机视觉83

    SPARK-VLA:一种无需外部 3D 输入的视觉语言动作模型空间表征蒸馏与知识路由方法

    针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。

    推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。

  16. arXiv · 机器人与计算机视觉82

    通过蒸馏信念空间任务与运动规划器部署合规智能体

    针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。

    推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。

  17. arXiv · 机器人与计算机视觉82

    从反思到协同进化:具备本地化验证记忆的自演化智能体

    论文提出 Anchor 框架,旨在解决大语言模型智能体在长周期交互中记忆冗余或强化不当行为的问题。该方法通过定位关键轨迹步骤、提取候选记忆,并在相同上下文下对比保留与不保留该源决策的效果,评估其对分布的偏移量及角色对齐度。

    推荐理由:提出 Anchor 方法,通过局部验证记忆源决策来筛选有效经验,在 ALFWorld 和 WebShop 任务上提升成功率并减少 Token 消耗。

  18. arXiv · 机器人与计算机视觉85

    GUARD:一种基于异常感知的 Q 导向框架用于生成式机器人灵巧操作策略

    论文介绍 GUARD 框架,该框架利用扩散和流匹配生成的机器人策略的训练分布构建异常信号,将其与稀疏任务奖励结合并通过学习到的 Q 函数传播以引导去噪过程。在 Adroit 平台的四个灵巧操作任务中,该方法在标称和扰动动力学下平均成功率分别达到 96.0% 和 80.0%,优于最强基线 21.0 和 20.0 个百分点且保持最低异常分数。

    推荐理由:提出利用训练分布中的异常信号引导去噪过程,在不修改预训练策略的情况下提升灵巧操作成功率与仿真到现实迁移效果。

  19. arXiv · 机器人与计算机视觉78

    不确定而非隐瞒:对视觉语言模型顺从行为的机制重估

    该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。

    推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。