跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 11 页

11月6日周五第 201–220 条
  1. arXiv · 机器人与计算机视觉83

    TactileLab:基于高效剪切敏感触觉仿真的仿真实灵巧操作框架

    论文介绍 TactileLab 框架,利用刚体仿真结合光流法估计接触界面的切向运动以编码剪切动力学,替代昂贵的软体物理模拟。研究提出新的策略架构处理长程本体感觉与丰富触觉观测,并开发实真翻译方法将真实触觉图像映射为仿真场。在双臂及手内操作任务中验证了该方法支持大规模强化学习训练及仿真实到现实的部署能力。

    推荐理由:提出基于光流的触觉流场表示与实真翻译方法,在双臂及手内操作中验证了大规模强化学习策略的仿真实用性。

  2. arXiv · 机器人与计算机视觉78

    RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

    论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

    推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

  3. arXiv · 机器人与计算机视觉78

    BiGrounder:双向训练释放 GUI 定位潜力

    BiGrounder 针对图形用户界面(GUI)定位任务,提出一种双向奖励范式以解决传统端到端训练对语言变化鲁棒性不足的问题。该方法在监督微调阶段让模型从目标坐标生成动作描述,并在强化学习阶段采样语义一致的指令变体进行自循环验证,将模型自身的策略转化为持续更新的强化轨迹。

    推荐理由:提出双向训练范式,利用模型自身策略生成强化学习轨迹,在五个基准测试中取得竞争性精度。

  4. arXiv · 机器人与计算机视觉78

    双臂桌面重排:结合可移动堆叠与感知间隙推转移的方法

    针对杂乱桌面场景中的双臂重排挑战,本文提出一种结合可移动堆叠(movable stacking)与感知间隙推转移(Gap-Aware Push Transfer)的框架,实现异步跨边界物体交换。

    推荐理由:提出结合可移动堆叠与感知间隙推转移的双臂重排框架,在密集场景中优于固定交接基线。

  5. arXiv · 机器人与计算机视觉80

    FAH:一种在像素、交互与世界空间中快速准确的手部估计方法

    论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。

    推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。

  6. arXiv · 机器人与计算机视觉83

    LMGN:一种用于足式机器人末端抓取导航的统一策略学习模型

    针对现有方法仅关注全局导航或独立操作而忽视末端抓取导航的问题,本文提出 Last-Mile Grasp-Navigation (LMGN) 统一策略学习模型。该模型引入显式距离与方向可达性表示,并开发语义对齐的分层混合专家策略以建模基座调整、预抓取对准、抓取执行及物体提升等阶段行为。实验在 Habitat 和 Isaac Gym 仿真器上进行,结果表明该方法显著优于现有最先进方法。

    推荐理由:提出统一策略学习模型解决足式机器人末端抓取导航难题,仿真实验显示集成可达性表示与分层专家路由能显著提升成功率。

  7. arXiv · 机器人与计算机视觉82

    Concertina:在单一扩散视觉语言模型中体现操作与认知

    论文介绍 Concertina 架构,主张将连续轨迹表示、块式生成及物理坐标监督直接置于共享扩散 VLM 骨干网络路径上,而非外挂独立动作专家。该模型仅用 0.21% 的参数实现主动动作投影,在 LIBERO-Plus 基准上达到 85.9% 成功率,CALVIN ABC-D 平均完成链长为 4.142。代码与权重已开源。

    推荐理由:该工作提出将连续轨迹表示与认知统一于共享扩散骨干网络,显著降低动作生成参数占比并验证了跨时间步耦合机制。

  8. arXiv · 机器人与计算机视觉78

    低成本闭环物理操控评估:4.4 L4 GPU 小时能买到什么

    本文提出了一种基于消费级服务器的可复现评估框架,旨在降低接触式机器人操控评估的成本门槛。实验显示,在稀疏数据条件下,三种独立训练的动作分块策略在 780 次 rollout 中零成功,而单步策略成功率介于 2.6% 至 11.8%。研究进一步表明,失败源于训练公式与多步预测机制而非开环执行,为物理策略开发提供了可复用的评估工具。

    推荐理由:作者提供了一套基于消费级 GPU 的可复现评估框架,以低成本验证了动作分块策略在稀疏数据下的失效原因。

  9. arXiv · 机器人与计算机视觉78

    运动学假设上下文:面向带宽受限机器人策略上行链路的具身条件化学习视频编码

    针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。

    推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。

  10. arXiv · 机器人与计算机视觉78

    基于潜在噪声表示桥接的高效扩散策略微调方法

    针对预训练扩散与流策略在强化学习适配中计算昂贵且存在噪声别名问题的挑战,本文提出 LNL-MDP 框架并推导桥接方程以对齐噪声空间与动作空间的值函数。在此基础上开发了 LARBRID 算法,通过优化初始分布引导预训练模型在环境中实现最优行为。实验显示该方法在多样化的机器人运动与控制任务上带来最高达 2-3 倍的性能提升。代码已开源。

    推荐理由:提出 LARBRID 算法解决扩散策略微调中的噪声别名问题,在多种机器人任务上实现性能提升。

11月5日周四
  1. arXiv · 机器人与计算机视觉82

    Reverse to Advance:基于逆向易任务的低成本硬策略学习框架

    针对高质量遥操作数据集收集成本高且硬任务方向性不对称的问题,本文提出一种通过时间反转易任务来辅助硬策略学习的框架。该方法包含闭环数据采集、分层数据清洗(利用运动学先验和评论家引导的优势过滤)以及迭代策略学习三个核心组件。在两个仿真基准和真实机器人实验中,该方法在不依赖大量硬任务遥操作的情况下,相比基于反转和强化学习的基线方法,显著提升了复杂高精度操作任务的成功率并提高了训练稳定性。

    推荐理由:提出利用逆向易任务轨迹作为监督信号,通过闭环采集与分层清洗降低硬任务遥操作成本。

  2. arXiv · 机器人与计算机视觉82

    Open-HumanWAM:一种用于扩展具身基础模型的开源人类与机器人经验配方

    该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。

    推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。

  3. arXiv · 机器人与计算机视觉78

    不确定性触发的空中修正用于非道路导航

    该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。

    推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。

  4. arXiv · 机器人与计算机视觉82

    Compounding Physical RSI:将执行失败转化为可继承能力的自进化策略框架

    论文提出 Compounding Physical RSI 框架,解决通用机器人策略在物理环境中因下游瓶颈不可观测、失败轨迹无法提供修正动作及更新共享参数导致技能退化等问题。

    推荐理由:提出 Compounding Physical RSI 框架,将执行失败转化为可继承能力,在 RoboDojo-Sim 基准上实现领先性能。

  5. arXiv · 机器人与计算机视觉78

    Detecting Silent Action-Interface Mismatch with Calibrated Relational World Models

    Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。

    推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。

  6. arXiv · 机器人与计算机视觉83

    软体躯干机器人动态形状控制:基于 aSSM 数据驱动 MPC 的硬件验证

    该研究提出利用数据学习修剪螺旋面软体躯干机器人的 adiabatic spectral submanifolds (aSSM) 模型,并将其集成至模型预测控制 (MPC) 框架以解决高非线性形状调控难题。

    推荐理由:基于 aSSM 理论的数据驱动模型预测控制方法,在软体躯干机器人的全身体形动态调控任务中显著优于线性基准。

  7. arXiv · 机器人与计算机视觉78

    $A^3$-VLA:面向机器人操作的自动感知引导注意力对齐

    该论文针对视觉语言动作模型(VLA)因缺乏细粒度感知监督而依赖无关视觉捷径的问题,提出 $A^3$-VLA 框架。该方法利用操作过程产生的视觉变化生成启发式候选区域,并通过离线分割模型细化,结合注意力分配损失与对比学习损失实现任务关键区域的引导。实验表明,该框架在多个基准上使 VLA 主干的平均成功率提升 6.5% - 25.2%,且材料为预印本版本。

    推荐理由:针对 VLA 依赖视觉捷径的问题,提出利用交互变化生成感知引导的框架,在仿真与真实任务中显著提升成功率。

  8. arXiv · 机器人与计算机视觉78

    TwinBridge:面向现实世界强化学习的数字孪生驱动策略与奖励迁移

    论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。

    推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。

  9. arXiv · 机器人与计算机视觉78

    MonoLaDN:语言引导的单目 3D 目标检测去噪框架

    MonoLaDN 是一种针对单目 3D 物体检测的去噪框架,旨在解决仅从图像特征学习几何导致的 ill-posed 问题。该方法在训练阶段利用冻结的视觉语言模型(VLM)生成关于遮挡、深度、尺寸和角度的结构化推理,将其编码为查询并加入噪声,训练检测器重构干净推理以内部化 VLM 的几何先验。

    推荐理由:该工作提出利用冻结 VLM 的几何推理进行去噪训练,使单目检测器内化高层语义先验且无额外延迟。

  10. arXiv · 机器人与计算机视觉78

    超越终端约束:基于学习的安全集实现可靠机器人控制

    针对模型预测控制和强化学习中确保安全性的挑战,本文引入新型安全集类,其范围优于传统控制不变集。通过限制预测时域内不同节点而非仅终端状态来保证递归可行性;若安全集为控制不变集的内近似,则可通过安全中止策略确保安全性。在六关节机器人操作臂的广泛仿真及硬件实验中,该方法相比最先进方法减少了约束违反,同时保持了相当的跟踪性能和计算效率。

    推荐理由:提出超越终端约束的安全集新方法,在仿真与硬件实验中验证了比现有方法更少的约束违反且保持跟踪性能。