跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 13 页

11月4日周三第 241–260 条
  1. arXiv · 机器人与计算机视觉84

    DynaFLIP:一种基于三模态动力学引导的机器人感知表征框架

    论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。

    推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。

  2. arXiv · 机器人与计算机视觉82

    SMAT:面向协同适应外骨骼控制的分阶段多智能体训练方法

    针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。

    推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。

  3. arXiv · 机器人与计算机视觉78

    DRAP:面向物理 AI 持续学习的动力学 - 风险自适应可塑性

    论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。

    推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。

  4. arXiv · 机器人与计算机视觉83

    Aero-VPA:面向边缘硬件的非重构 JEPA 潜空间少步流匹配控制研究

    论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。

    推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。

  5. arXiv · 机器人与计算机视觉78

    VagueBench:评估具身智能体在环境语境幻觉下的鲁棒性基准

    针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。

    推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。

  6. arXiv · 机器人与计算机视觉78

    HLO-AMP:基于物体感知运动先验的分层移动 - 操作框架

    论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。

    推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。

  7. arXiv · 机器人与计算机视觉83

    FloMo:将3D场景流作为世界动作模型的中间层以学习人类视频数据

    论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。

    推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。

  8. arXiv · 机器人与计算机视觉78

    Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action

    论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。

    推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。

  9. arXiv · 机器人与计算机视觉84

    HiLo-WAM:解耦世界动作模型中的长程任务演化与局部动态

    该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。

    推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。

  10. arXiv · 机器人与计算机视觉78

    基于障碍认证安全架构的腿部视觉语言导航研究

    该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。

    推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。

  11. arXiv · 机器人与计算机视觉78

    Learning Where to Look:面向图像思考的观察策略优化方法

    该研究针对复杂视觉问答中模型难以定位关键区域或获取充分证据的问题,提出 Observation Policy Optimization (OPO) 算法以优化工具增强的图像思考中的观察动作。

    推荐理由:针对多模态模型在图像思考中的观察动作优化难题,提出 OPO 算法通过不确定性引导分支与证据归因机制提升视觉推理性能。

  12. arXiv · 机器人与计算机视觉78

    Trusting Imagined Futures:通过审计想象奖励优化 VLA 后训练方法

    视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。

    推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。

  13. arXiv · 机器人与计算机视觉78

    通过动作条件潜变量前瞻协调人形机器人体操与操作

    论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。

    推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。

  14. arXiv · 机器人与计算机视觉82

    BtsPruner:面向大视觉语言模型的基于角色感知的视觉 Token 剪枝方法

    针对大视觉语言模型推理时计算开销大的问题,本文提出 BtsPruner 框架,该方法无需训练即可通过识别视觉 Token 从局部细节到全局代表的角色演变过程进行剪枝。实验表明,在 LLaVA-1.5-7B 等模型上,仅保留 32 个视觉 Token(占总数 5.6%)即可保持 91.6% 的原始性能,并在高分辨率设置下实现最高 5.95 倍的 CUDA 延迟加速。

    推荐理由:提出无需训练的基于角色感知的视觉 Token 剪枝框架,在大幅减少输入 Token 数量下保持高性能并显著降低推理延迟。

  15. arXiv · 机器人与计算机视觉84

    ReflexArc:将瞬时触觉反射自下而上集成到全身人形机器人控制中

    针对人形机器人在杂乱环境中需快速反应意外接触的挑战,该研究提出了 ARC(Ascending Reflex Control)框架,将毫秒级触觉反射与全身策略学习相结合。

    推荐理由:该工作将毫秒级触觉反射与全身策略学习结合,在 Unitree G1 上验证了降低冲击峰值和保持平衡的能力。

  16. arXiv · 机器人与计算机视觉78

    DiMuRe:面向机器人任务的诊断引导多级恢复框架与 LIBERO-Disturb 基准

    论文提出 DiMuRe 框架,利用阶段证据和方法先决条件选择程序复用或预定义恢复技能(包括有界 VLA 抓取),并在原程序退出后通过多模态大语言模型生成修正代码。

    推荐理由:提出诊断引导的多级恢复框架,在干扰场景下将任务成功率从 58.68% 提升至 77.65%,并开源了 LIBERO-Disturb 基准。

  17. arXiv · 机器人与计算机视觉78

    FEIJOA:面向移动操作的指令落地与执行方法

    论文提出了 FEIJOA 语言模型智能体,用于解决移动机械臂在执行‘把玩具收进箱子’等开放指令时的场景理解难题。该方法在测试时查询 grounding 工具以解析指令,并通过具身感知 harness 检查技能先决条件、采样可达基座位姿并验证执行效果。

    推荐理由:该工作提出在测试时进行指令 grounding 的架构,显著提升了移动操作任务的成功率。

  18. arXiv · 机器人与计算机视觉78

    h-NESDF:一种具有无限可微性的双集合有向距离函数及其机器人应用

    论文介绍了一种名为 h-NESDF 的新指标,它是正常欧几里得符号距离函数的推广版本。该函数通过引入平滑参数 h 实现了在任意 h>0 时的无限可微性,同时当 h 趋近于 0 时退化为 NESDF。研究展示了其在运动规划中的广泛仿真结果,证明了该方法在处理非凸集合及需要导数信息的机器人应用(如运动规划和控制)中的可行性与效率。

    推荐理由:提出一种可无限微分的集合间有向距离函数,解决传统欧氏距离在机器人运动规划与控制中求导困难的问题。

  19. arXiv · 机器人与计算机视觉78

    可变形物体形状伺服教程(第二部分):高级概念与扩展

    该论文是两篇关于数据驱动、基于雅可比矩阵的形状控制教程的第二部分。文章利用形变雅可比矩阵的奇异值分解,识别机器人运动对物体形状的影响范围及局部不可达区域;分析了特征选择对控制器调节策略及物体变形程度的影响;阐述了控制环失效的三种模式(可控性丧失、可观测性丧失和机械失稳);最后扩展了时变目标、次级任务及三维物体的形状控制方法。代码与交互演示已公开,为灵巧操作算法研究提供理论参考。

    推荐理由:本文作为两篇教程的第二部分,深入解析了基于雅可比矩阵的形变控制高级概念、失效模式及扩展应用。

  20. arXiv · 机器人与计算机视觉84

    AIRoA-0:仅凭手持演示实现长视界精准跨本体操作

    AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。

    推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。