跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 40 页

10月6日周二第 781–800 条
  1. arXiv · 机器人与计算机视觉78

    DiVeR:面向 VLA 测试时扩展的决策关键验证器学习

    论文提出 DiVeR 方法,旨在解决视觉语言动作(VLA)模型因数据成本受限而难以进一步扩展的问题。该方法通过采样多个动作候选并基于动作表征的离散度估计决策关键性,从而在推理阶段重新加权验证器学习,聚焦于对下游结果影响最大的稀疏状态集合。

    推荐理由:提出 DiVeR 方法,利用动作表征离散度识别决策关键状态以优化验证器训练,在 LIBERO、RoboCasa 及 Franka 机器人实验中提升任务成功率。

  2. arXiv · 机器人与计算机视觉78

    PatternDex:通过学习交互模式引导双臂灵巧操作铰链物体的强化学习方法

    论文提出 PatternDex 方法,旨在解决双臂灵巧手操作铰链物体时的具身差距问题。该方法观察到手与物体运动的相关性由物体决定而非手部,可从人类演示中学习并表示为交互模式序列。

    推荐理由:提出 PatternDex 方法,通过从人类演示学习手与物体运动的相关性(交互模式),引导强化学习策略实现双手动灵巧操作,在 Allegro 手上平均成功率达 92.8%。

  3. arXiv · 机器人与计算机视觉78

    DNPush:一种无需通信的多机器人系统分布式非平行推力控制器

    arXiv 论文提出了 DNPush,这是一种用于多机器人协作搬运物体的分布式非平行推力控制器。该方法无需机器人间通信或物体模型、质心估计等在线信息,仅利用局部力测量和预设权重即可调节非平行力大小。

    推荐理由:该工作提出无需通信的分布式推控方法,通过局部力测量实现多机器人协同搬运,仿真与硬件实验验证了收敛性与方向误差。

  4. arXiv · 机器人与计算机视觉82

    基于视觉预测力的机器人学习

    本文提出一种无需专用力或触觉传感器的机器人操作方法,通过训练视觉力估计器从合规 Fin Ray 夹爪的形变中预测作用力,并联合生成动作与力的候选方案以指导推理时的动作选择。该方法在浆果采摘、空罐抓取、手内重定向和插头插入等任务上进行了评估,展示了视觉预测力引导接触密集型操作的能力。材料为预印本论文,未报告真实机器人部署结果或量产状态。

    推荐理由:该工作提出利用柔性夹爪形变进行视觉力预测,从而在无触觉传感器条件下实现接触密集型任务的操作策略选择。

  5. arXiv · 机器人与计算机视觉78

    利用分层控制器结构进行上下文参数学习以优化人形机器人大型操作

    论文提出一种针对分层控制系统的上下文贝叶斯优化框架,用于联合学习不同层级控制器的参数。该方法通过相关多输出高斯过程分别建模任务性能、实现质量和控制努力,并分析其聚合关系,利用分层控制的互补特性进行优化。研究在人形机器人变质量推箱子任务中,联合调优了质心预测控制器和全身控制器,结果显示该方法在训练和适应阶段均取得了最低的均值经验后悔度。

    推荐理由:提出基于上下文贝叶斯优化的分层控制器联合参数学习方法,在变质量推箱子任务中实现最低经验后悔度。

  6. arXiv · 机器人与计算机视觉82

    AgenticTactileVLA:无需重训即可实现通用灵巧操作的接触引导执行时间监督方法

    该预印本提出 AgenticTactileVLA,作为固定视觉语言动作模型(VLA)的执行时间监督器,利用手指位置和电机力反馈进行接触引导的自适应调整。该方法在 Unitree G1 机器人配合 BrainCo Revo2 手部执行任务时,针对未见物体实现了从基线 VLA 61.3% 到监督器 84.0% 的任务完成率提升,且无需触觉传感器或模型重训。

    推荐理由:该预印本提出无需重训 VLA 的接触引导执行监督方案,在 Unitree G1 上验证了针对未见物体的泛化提升与修正触发机制。

  7. arXiv · 机器人与计算机视觉82

    面向欠冗余人形机械臂的实时 conformal-seeded 混合逆运动学方法

    该论文针对具有偏移结构的欠冗余 7-DoF 人形机械臂,提出了一种结合解析近似与数值精修的混合逆运动学框架。该方法首先利用近似解析模型枚举有限候选解,再通过轻量级学习预测器结合 split-conformal 预测对候选解进行难度排序并选出最佳种子,最后使用 Levenberg-Marquardt 求解器在完整运动学模型上进行高精度修正。

    推荐理由:提出一种结合解析近似与数值精修的混合逆运动学框架,利用校准的种子选择实现实时高精度求解。

  8. arXiv · 机器人与计算机视觉83

    ROOT:发现用户指定具身行为的奖励函数

    ROOT 是一种用于发现奖励函数的框架,旨在使学习策略与用户指定的具身行为对齐。该方法将奖励设计转化为对持久实验树的观察引导搜索,利用视频语言模型提炼的行为洞察来诊断失败并指导奖励优化。

    推荐理由:ROOT 框架通过可观测树搜索与视频语言模型诊断,解决了 LLM 生成奖励函数难以捕捉细微行为属性的问题。

  9. arXiv · 机器人与计算机视觉82

    Continual Humanoid Motion Learning:一种防止灾难性遗忘的渐进式神经网络策略

    针对人形机器人全身控制器在线学习新技能易导致旧技能遗忘的问题,研究提出 Similarity-guided LoRA-PNN 方法。该方法通过动态时间规整聚合的最优传输构建两级运动相似性度量,自动决定基于何种先验技能及分配多少新容量,从而在无需重访历史数据的情况下实现强正向迁移与高平均准确率。

    推荐理由:提出利用动态时间规整与最优传输构建相似性引导策略,在六个连续技能类别中实现最佳正向迁移并节省 94.5% 可训练参数。

  10. arXiv · 机器人与计算机视觉78

    REDIRECT:仅用 1% 样本修复机器人不良习惯的方法

    论文提出 REDIRECT 方法,针对遥操作数据中因局部动作异常导致的“坏习惯”问题,利用任务级标签定位并修正分支行为,无需帧级标注或额外交互。实验显示,该方法在三个随机化 ManiSkill 任务和 PiPER 机械臂上,将平均成功率从 68.2% 提升至 90.3%,恢复了 88.8% 的纯清洁训练差距,优于同等计算量的微调方案。

    推荐理由:REDIRECT 方法仅需 1% 的样本预算即可修复遥操作数据中的局部不良习惯,在三个任务中将成功率从 68.2% 提升至 90.3%,显著优于同等计算量的微调。

  11. Hugging Face Daily Papers78

    PAIR:在视觉语言动作模型中连接感知与动作

    论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。

    推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。

10月5日周一
  1. arXiv · 机器人与计算机视觉85

    QueryArt:基于单图与查询点的连杆参数估计方法

    论文提出 QueryArt 模型,能够从单张 RGB 图像、二维查询点和相机内参中估计连杆几何参数。该方法将分割与估计解耦,通过查询点深度测量恢复度量尺度,在合成与真实数据混合训练后,于移动机械臂的 57 次操作任务(涵盖 16 个部件和五类视角)中达到 70.2% 的成功率,并优于近期基线。代码与视频已公开。

    推荐理由:该模型仅凭单张 RGB 图像与查询点即可估计连杆几何参数,在移动机械臂的 57 次操作中实现 70.2% 成功率。

  2. arXiv · 机器人与计算机视觉82

    Screw Attention:Transformer 内的刚体力学代数方法

    论文提出 Screw Attention,这是一种将两物体间的相对位姿与关节螺旋量作为空间变换而非图边嵌入的 Transformer 层。该方法在 LIBERO-Spatial 基准上,仅用 16k 参数从物体位姿训练的策略达到 97.3% 成功率,优于同规模及参数量大 27 倍的扁平网络。

    推荐理由:该工作提出 Screw Attention,在 Transformer 层内显式建模刚体运动学关系,使策略对坐标系变化具有等变性。

  3. arXiv · 机器人与计算机视觉82

    触觉好奇心驱动机器人交互:TacEx 框架及触觉驱动数据集

    论文提出 TacEx 框架,将触觉反馈纳入基于认识不确定性的探索机制中,使机器人在无任务奖励或专家演示的情况下发现复杂的接触动力学并掌握操作技能。研究构建了通过该框架收集的密集交互数据集,支持下游抓取策略的离线学习;同时利用触觉驱动探索对预训练的视觉语言动作模型进行后训练,显著提升了下游性能且保持高样本效率。材料为 arXiv 预印本,处于审稿中。

    推荐理由:该工作提出 TacEx 框架,利用触觉反馈引导探索以解决强化学习样本效率低的问题,并支持下游策略与 VLA 模型的微调。

  4. arXiv · 机器人与计算机视觉82

    Find Something You Can't Do:面向自改进 VLA 模型的代理式现实世界强化学习

    FIND 是一个代理式现实世界强化学习框架,旨在解决视觉 - 语言 - 动作(VLA)模型作为冻结策略部署后无法从自身失败中学习的难题。该框架将自主练习重构为场景条件化、性能感知的任务选择问题:利用视觉 - 语言智能体从预定义库中识别可行任务,优先选择近期成功率较低的任务进行练习,并通过成对的执行前后观察结果进行评估。

    推荐理由:该工作提出 FIND 框架,利用冻结 VLA 模型在真实环境中通过自主任务选择与自我评估实现策略持续改进。

  5. arXiv · 机器人与计算机视觉80

    AR-WAM:一种面向机器人操作的视觉条件化世界动作模型

    论文提出了 AR-WAM,这是一种视觉条件化、无需语言编码器的 0.5B 参数世界动作模型,通过视觉定位框和操作 token 替代自然语言指令来控制机器人操作。该模型在 RoboTwin 2.0、RMBench 及真实 Astribot S1 双臂平台上表现优异,标准操作任务平均成功率达 85.7%,长程记忆依赖与真机任务分别提升 5.9% 和 36.7%,同时保持最低推理延迟(14.1 ms)。

    推荐理由:该工作提出视觉条件化的 AR-WAM 模型,在仿真与真机长程任务中均优于基线,且推理延迟最低。

  6. arXiv · 机器人与计算机视觉82

    A Change of Frame Makes the Capture Point Proprioceptive: Distillation-Free Humanoid Single-Leg Balance

    该研究针对现有通用策略无法保持清洁单腿站立的难题,提出了一种基于支撑脚相对坐标系的动态质心观测方法,使捕捉点状态可仅由关节编码器和惯性测量单元重构。作者开发了无需蒸馏的策略 DDC,在 Unitree G1 上实现了 90 个测试动作中 89 个的清洁单腿平衡能力。材料开源了策略、数据及 MuJoCo 基准评测工具,旨在将单腿平衡从演示任务转化为可量化的通用能力。

    推荐理由:提出无需蒸馏的平衡策略,在仿真基准上实现单腿站立,并开源数据与评测工具。

  7. arXiv · 机器人与计算机视觉84

    EyeRobot 2.0:无需腕部相机的主动注视精准操作框架

    本文介绍 EyeRobot 2.0 框架,通过旋转两个“眼睛”视点进行主动注视,将计算资源集中于任务相关特征,从而仅用单台双目相机实现精细的双手操作。研究在真实世界和仿真环境中收集了遥操作数据,并在超过 1000 次物理试验中验证:相比被动立体视觉方案,该框架在真实场景成功率提升 40%,当抓取物体遮挡腕部相机时表现更优,接近甚至超越依赖腕部相机的策略。

    推荐理由:提出利用主动注视策略,仅凭双目相机实现高精度双手操作,显著优于被动立体视觉方案。

  8. arXiv · 机器人与计算机视觉82

    AVL-JEPA:防止联合嵌入预测架构世界模型中的因果动力学信息坍塌

    论文指出 JEPA 虽能预测高层语义动态,但易丢弃动作的物理后果导致信息坍塌。作者提出 AVL 方法,利用执行动作作为动力学锚点并引入视觉不变性路径,强制模型保留并利用因果动力学信息。实验在四个机器人控制任务上验证了该方法在视觉扰动下显著提升成功率且保持清洁环境性能。

    推荐理由:针对 JEPA 在保留物理因果信息上的失效,提出动作锚定与视觉不变性路径的改进方案。

  9. arXiv · 机器人与计算机视觉78

    RATE:面向高接触频率机器人操作的風險感知触觉编码

    针对接触丰富型机器人操作中相似触觉观测可能对应不同任务风险的模糊性问题,本文提出 Risk-Aware Tactile Encoding (RATE) 方法。该方法利用历史条件预测捕捉交互上下文,并通过警报监督将上下文与任务条件风险关联,借助轻量级残差适配器补充传统触觉特征。在仿真与真实世界实验中,该方法显著提升了任务成功率,消融实验证实了警报引导学习与预测时序建模的互补收益。

    推荐理由:提出风险感知触觉编码方法,通过历史预测与警报监督结合任务条件风险,提升接触型操作成功率。