跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 27 页

10月21日周三第 521–540 条
  1. arXiv · 机器人与计算机视觉78

    Safe Multi-Robot Collaboration With Uniform Exclusion Using Trust

    arXiv 论文提出一种用于多机器人协作的安全通信包装器算法,该算法利用各机器人上的异常检测器生成的信任值流,通过 Safe Anytime-Valid Inference 方法筛选出可信链路。

    推荐理由:提出一种基于信任值的通信包装器算法,能在存在恶意链路的情况下以高概率排除受损连接并快速恢复对合法链路的信任。

  2. arXiv · 机器人与计算机视觉82

    感知却不停车:推理驱动 VLA 中的感知 - 行动绑定差距研究

    该论文指出,尽管增强的视觉语言动作(VLA)驾驶模型能感知危险并推理安全,但轨迹生成仍受自身速度历史主导,导致无法及时制动。作者通过在冻结的流匹配采样器中注入条件化能量,在不修改权重的情况下成功修复了 Alpamayo-1.5 模型的制动失效,将障碍物侵入率从 58.1% 降至 14.5%,并在闭环测试中消除了碰撞。

    推荐理由:原文揭示了感知与行动解耦问题,并通过注入条件能量在无需重训的情况下修复了 Alpamayo-1.5 模型的制动失效。

  3. arXiv · 机器人与计算机视觉82

    基于人类手物交互数据的触觉感知表示学习框架 HuTact

    论文提出了 HuTact 框架,旨在解决灵巧操作中机器人端数据采集成本高的问题。该方法通过预训练将人类手物交互中的动作结构迁移至机器人触觉观测,无需真实触觉信号即可初始化模型。

    推荐理由:该预印本提出利用大规模人类手物交互数据作为先验,显著提升了机器人触觉感知与操作任务的数据效率。

  4. arXiv · 机器人与计算机视觉78

    EventSync:面向历史依赖操作的基于事件的任务记忆更新方法

    针对当前观测不足以确定下一步动作的历史依赖型机器人操作难题,本文提出 EventSync 层级框架。该框架利用视觉语言模型生成子目标,由视觉语言动作模型执行,并引入轻量级事件监测器结合视觉观测与末端轨迹判断子目标完成状态,仅在获得完成证据后记录至历史并触发后续推理。

    推荐理由:提出基于事件驱动的层级框架,通过轻量级监测器解决任务记忆更新时机问题,在 RoboMME 基准上显著超越现有基线。

  5. arXiv · 机器人与计算机视觉82

    基于多视角潜在动作预训练的跨具身机器人视频学习

    针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。

    推荐理由:该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。

  6. arXiv · 机器人与计算机视觉82

    CovNav:基于共形预测的物体目标导航自适应推理方法

    论文提出 CovNav 框架,解决具身智能体在未见环境中寻找目标时大语言模型的效率与精度权衡问题。该方法将空间查询转化为结构化二元决策,利用局部小模型快速判断并引入共形预测量化不确定性,仅对模糊查询调用慢速思维链推理。

    推荐理由:该工作提出无需训练的框架,利用共形预测引导大模型在具身任务中自适应切换快慢推理模式。

  7. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。

  8. arXiv · 机器人与计算机视觉78

    HATCH:用于可验证操作的硬件认证任务链

    针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。

    推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。

  9. arXiv · 机器人与计算机视觉85

    拒绝提问、行动服从:机器人控制环路的运行时安全检查

    该研究指出前沿模型在通过代理 harness 控制机器人时存在安全隐患,即便面对常识性危险(如将刀放入玩具篮)也会尝试执行且从不引用风险。作者提出一种可选的运行时安全检查方法:在执行首次动作前,利用相同相机帧询问模型是否会执行指令。

    推荐理由:作者提出一种运行时安全检查机制,通过在动作执行前询问模型是否应执行指令来拦截有害操作。

  10. arXiv · 机器人与计算机视觉78

    面向 VLA 模型的故障归因:评估去除视觉噪声的收益

    针对视觉语言动作(VLA)模型对视觉干扰敏感但难以判断去除干扰是否有益的问题,提出一种无需成对策略回滚的因子化风险模型。该方法通过潜在干预从当前图像和任务指令中估计去除收益,在 OpenVLA 与 pi_0.5 仿真及 Franka 机器人上验证了优于单体模型和视觉语言模型基线的效果,误差约为前沿 VLM 的三分之一,并支持在线故障监控。

    推荐理由:提出一种无需成对数据即可估计去除图像噪声收益的因子化风险模型,在仿真与硬件上优于基线。

10月20日周二
  1. arXiv · 机器人与计算机视觉82

    UniW(A)M:一种用于世界与世界 - 动作模型的统一混合专家框架

    论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。

    推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。

  2. arXiv · 机器人与计算机视觉82

    Humanoid Badminton:基于有限人类动作数据的动态羽毛球击打技能学习

    针对高速球类运动对人形机器人提出的时间关键决策、精准击打及全身协调挑战,本文提出一种三阶段分层强化学习框架以解决可用羽毛球参考数据稀缺且不完美的难题。首先通过任务随机化动作增强将稀疏标注的击打事件扩展为可执行的连续潜在技能空间;其次由高层规划器根据观察到的球的状态在线组合这些技能;最后利用上下文条件对抗正则化器鼓励更自然的技能使用同时保持回球性能。

    推荐理由:提出三阶段分层强化学习框架,利用有限人类数据实现人形机器人在真实世界与人类进行包含跳跃救球的多技能多回合对抗。

  3. arXiv · 机器人与计算机视觉82

    RoboEdit:将人类操作视频转化为可扩展的机器人经验

    针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。

    推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。

  4. arXiv · 机器人与计算机视觉82

    TRACT:面向富接触操作的时序路由动作块与时间相位权威

    该研究针对机器人模仿学习中的时序相位错配问题,提出了 TRACT 方法,将相位结构化动作块分解为当前接受相位与未来视界内的单一边界。通过任务局部图约束时间相位权威,并引入因果响应赤字积分器处理接触执行中的补偿与恢复。

    推荐理由:论文提出 TRACT 方法解决机器人模仿学习中时序相位错配问题,在六款真实机器人上实现全序列成功与零停滞。

  5. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。

  6. arXiv · 机器人与计算机视觉78

    GROW$^2$: Grounding Which and Where for Robot Tool Use

    论文提出 GROW$^2$ 方法,利用物体部件作为自然抽象,将机器人工具使用的开放世界语义 grounding 分层为语义与几何两个层级:语义层借助 VLM 常识推理解析指令并选择合适工具及关键部位;几何层通过视觉基础模型从单张 RGB-D 图像定位精确的 3D 区域。

    推荐理由:该方法利用 VLM 语义推理与视觉基础模型的几何定位分层解决开放世界工具使用问题,在仿真与真实机器人实验中均优于基线。

  7. arXiv · 机器人与计算机视觉82

    GRAIL:基于世界模型生成人形机器人移动与操作策略

    GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。

    推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。

  8. arXiv · 机器人与计算机视觉84

    Think before Go:面向图像目标导航的分层推理方法

    该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。

    推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。

  9. arXiv · 机器人与计算机视觉82

    因果场景叙述:用于视觉语言动作驾驶的推理时文本重构

    针对自动驾驶中视觉语言动作模型接收到的离散文本指令难以关联环境约束的问题,该研究提出了因果场景叙述方法,通过在推理阶段进行意图与约束对齐、量化 grounding 及结构化分离来优化输入。

    推荐理由:该研究提出在推理阶段重构 VLA 文本输入的方法,在多城镇 CARLA 测试中显著提升了路线完成率,并验证了其对感知噪声的鲁棒性。

  10. arXiv · 机器人与计算机视觉78

    并非所有特征都同等重要:VLA 模型的机理研究与 Action Atlas 平台发布

    该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

    推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。