跳到正文
  1. arXiv · 机器人与计算机视觉76

    Pose6DAug:面向机器人数据增强的物理合理多视角物体替换方法

    针对视觉语言动作(VLA)策略在面对分布外物体时表现不佳的问题,该方法提出一种无需采集新数据的失败驱动数据增强框架。其核心在于直接操作 3D 空间,利用显式网格和时序一致的 6D 姿态轨迹锚定目标物体进行替换,从而保证多视角渲染的几何一致性。实验显示,在新型物体上微调 VLA 模型可使成功率相对最先进基线提升 16.5%,同时在真实机器人上将基础策略的成功率翻倍。

    推荐理由:提出基于物理的物体替换框架,利用现有成功轨迹生成新演示以解决 VLA 模型在未知物体上的泛化问题。

  2. arXiv · 机器人与计算机视觉78

    Homeward:无训练视角下的观测适配方法

    论文介绍了一种名为 Homeward 的训练免费、即插即用观测适配器,旨在解决视觉 - 语言 - 动作(VLA)策略在部署相机发生位移或更换后性能急剧下降的问题。

    推荐理由:针对冻结 VLA 策略在部署相机变动后性能骤降的问题,提出无需微调的观测适配器 Homeward,通过渲染已知运动学状态与估计未知场景深度来恢复训练视图。

  3. arXiv · 机器人与计算机视觉83

    DOCK:基于机器人运动学的双流启发自监督物体中心表征

    论文指出潜在空间规划器依赖特征距离判断场景与目标的差距存在偏差。为此提出 DOCK 方法,利用机械臂关节角度的前向运动学作为无标注位移代理,结合视觉双流架构学习物体表征。该方法在仿真厨房场景中从近万条轨迹挖掘数据训练了物体、空间和动力学三个组件,规划成功率接近读取真值位置的 oracle,且具备跨布局与未见过物体的泛化能力。

    推荐理由:该工作提出 DOCK,利用机械臂运动学构建无标注位移代理,在仿真环境中实现接近真值定位的规划成本。

  1. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  1. arXiv · 机器人与计算机视觉83

    Polygraph:基于位姿图的大规模多会话轨迹优化方法

    论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。

    推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。

  2. arXiv · 机器人与计算机视觉87

    ForceHarness:将力转化为动作与物理以赋能冻结前沿模型

    针对图像无法表征接触力的问题,ForceHarness 提出一种无需演示或微调的框架,通过自终止力原语闭环控制并翻译力迹为带不确定性的物理量。在真实机械臂上,该方法将 GPT-6 Astra 的零样本成功率从 3.3% 提升至 90.0%,并在仿真基准中超越基于演示的策略及手写专家控制器。作者还构建了 HiddenPhys 七任务 MuJoCo 基准以评估隐藏物理变量下的性能。

    推荐理由:ForceHarness 让冻结模型无需微调即可利用力控提升零样本成功率,HiddenPhys 基准验证了其在隐藏物理变量任务上的表现。

  3. arXiv · 机器人与计算机视觉78

    TRR:一种用于机器人仿真与 RGBT 数据生成的热交互引擎

    论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。

    推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。

  4. arXiv · 机器人与计算机视觉78

    SPEED+ 基准下的方向鲁棒性:来自仿真器误设的不合理置信度

    针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。

    推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。

  5. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  6. arXiv · 机器人与计算机视觉82

    迈向概率安全的强化学习:理论与人形及空中机器人部署

    本文扩展了鲁棒安全梯度流强化学习框架以解决标准方法无法保证安全约束且依赖无偏估计器的局限。新 formulation 支持包括碰撞规避在内的轨迹级约束,并允许使用有偏的价值和梯度估计器。

    推荐理由:本文扩展了鲁棒安全梯度流强化学习框架,允许有偏估计器并支持轨迹级约束,实现了 Unitree G1 人形机器人与 Crazyflie 无人机的零样本仿真到现实部署。

  7. arXiv · 机器人与计算机视觉82

    TMA:通过触觉驱动电机适应实现仿真实到现实的强力人形机器人操作

    论文提出了 Tactile-Driven Motor Adaptation(TMA)方法,旨在解决具身智能在关节化环境中进行强力多指操作的挑战。该方法利用触觉反馈构建策略学习结构,以圆锥几何作为多指接触表示的归纳偏置,并基于触觉历史在线调整电机行为。

    推荐理由:提出触觉驱动的电机自适应方法,在仿真训练后零样本迁移至宇树 G1 机器人实现强力开门任务。

  8. arXiv · 机器人与计算机视觉83

    Frame First, Decode Once:面向系统一世界模型的物体中心坐标与单次解码方法

    论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。

    推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。

  9. arXiv · 机器人与计算机视觉82

    Whole-Slice Misses Escape Round-Trip Filtering and Volumetric Dice in a Source-Free Flow-Matching Segmenter

    Guobiao Wang 审计了一种无源流匹配分割器在 120 名未见训练数据上的表现,发现模型常漏检脾脏且现有质量门控(往返过滤和体积 Dice)无法识别此类错误。作者提出 Chain-and-Fill 方法在 119 名患者上满足所有预注册终点,其严重组增益与 SAM 2 传播不可区分,且仅 1/357 的患者种子对受损。

    推荐理由:原文审计了无源流匹配分割器在 CT 影像中的脾脏漏检问题,并验证了链式填充修复方法的有效性。

  1. 智东西 · 机器人82

    MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验

    MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。

    推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。

  2. arXiv · 机器人与计算机视觉84

    重型机械杂技:通过强化学习实现滑移装载机动态控制

    该论文展示了利用强化学习(RL)结合仿真到现实(sim-to-real)迁移技术,成功自动化了复杂液压驱动的重型机械——John Deere 332G 滑移装载机的极限动作。策略使机器能够自主完成两轮平衡、跨越崎岖地形、绘制指定轨迹及旋转等高难度杂技动作,此前这些操作仅由少数精英人类操作员在世界纪录级别的表演中实现。

    推荐理由:作者展示强化学习在仿真中训练的策略成功迁移至现实,实现了推土机在两轮平衡状态下跨越崎岖地形并自主完成高难度杂技动作。

  3. arXiv · 机器人与计算机视觉78

    Objectives as Policies:面向接触丰富操作的视觉语言模型成本程序框架

    该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。

    推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。

  4. arXiv · 机器人与计算机视觉78

    跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究

    Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。

    推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。

  5. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  6. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。