跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 3 页

11月17日周二第 41–60 条
  1. arXiv · 机器人与计算机视觉78

    TacBridge:通过跨传感器对应学习统一触觉表征

    针对 GelSight、DIGIT 等光学触觉传感器因成像几何和背景差异导致观测不一致的问题,论文提出 TacBridge 框架。该框架利用跨传感器掩码预训练学习时空表征,并在同传感器与跨传感器重建任务上联合训练,实验证明了其跨传感器泛化性与下游感知任务的迁移能力。

    推荐理由:提出 TacBridge 框架,通过跨传感器掩码预训练学习统一触觉表征,验证了多传感器间的泛化与任务迁移能力。

  2. arXiv · 机器人与计算机视觉78

    AsymEEF:一种支持非对称末端执行器的双机械臂操作框架

    论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。

    推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。

  3. arXiv · 机器人与计算机视觉82

    XMimic 和 XSoma:在不到一分钟内学习类人机器人的运动追踪与移动

    论文提出了 XMimic 和 XSoma 两个模型,利用世界模型优化策略并通过并行计算将类人机器人在粗糙地形的运动追踪与移动训练时间压缩至一分钟以内。

    推荐理由:原文介绍了利用世界模型与并行计算将类人机器人运动追踪训练压缩至一分钟内的方法,相关团队可据此评估其加速潜力。

  4. arXiv · 机器人与计算机视觉78

    使 Koopman 控制保证在机器人上成立:Tangent-Invariant Koopman (TIK)

    论文针对 Koopman 控制器在潜空间稳定但无法稳定非线性物理系统的矛盾,提出 Tangent-Invariant Koopman (TIK) 方法。该方法通过离线估计局部植物线性化并强制一阶匹配,恢复拟合的 LQR 增益并在大机动中捕获状态依赖的动作。

    推荐理由:提出 Tangent-Invariant Koopman 方法,通过一阶匹配解决潜空间线性模型在非线性物理系统上的稳定性问题。

  5. arXiv · 机器人与计算机视觉84

    NF-VLA:一种用于视觉语言动作学习的归一化流基线方法

    论文提出了 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化技术,利用单一学习到的密度支持策略训练、动作生成及修正。该模型在 LIBERO 基准的四个标准套件上达到 98.35% 成功率,在 LIBERO-Plus 上达到 72.6%,且无需机器人预训练或额外微调。

    推荐理由:该工作提出基于自回归归一化流的 VLA 基线模型,在 LIBERO 基准上实现高成功率且无需额外微调。

  6. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  7. arXiv · 机器人与计算机视觉82

    PlanDiv:基于潜在规划的视觉语言动作模型测试时扩展方法

    该论文提出 PlanDiv 模块,通过引入轻量级规划器生成 K 个潜在计划假设,使视觉语言动作模型的多个候选动作差异源于规划而非噪声。在固定主干网络与训练数据下,该方法将 CALVIN 基准上五步任务链成功率从 56.9% 提升至 69.9%,并在 LIBERO-Long 和真实 Franka 机械臂实验中验证了其在多解任务中的优势。材料为预印本论文,未提及开源代码或模型权重。

    推荐理由:提出 PlanDiv 模块,利用潜在规划假设提升 VLA 模型在测试时的多候选执行成功率。

  8. arXiv · 机器人与计算机视觉78

    MoViC:基于单目视频的实时人形机器人全身控制

    论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

    推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

  9. arXiv · 机器人与计算机视觉78

    练习并非免费:测量无重置机器人的具身成本

    本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。

    推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。

  10. arXiv · 机器人与计算机视觉78

    DiffWAM:从连续视觉差异中学习世界动作模型

    论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。

    推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。

  11. arXiv · 机器人与计算机视觉78

    当后门可以被关闭:针对视觉语言动作模型的感知抑制后门攻击

    该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。

    推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。

  12. arXiv · 机器人与计算机视觉87

    JEPA4R:基于 4D 点规划的具身 JEPA 世界模型

    该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。

    推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。

  13. arXiv · 机器人与计算机视觉82

    AlphaTruck:面向非结构化地形的快速越野自主驾驶平台

    AlphaTruck 是一个集成多模态感知、嵌入式 CPU-GPU 计算和车载自主栈的 1/5 比例大型车底盘平台,旨在解决全尺寸车辆昂贵且 RC 车辆负载受限的问题。该平台在仅依赖车载感知与计算的情况下,实现了在非结构化地形上 6-10 m/s 的高速自主导航,适用于测绘、搜救及农业等商业与防御任务。材料为预印本论文,详细阐述了该平台的架构设计与平衡移动性、感知、算力、负载及可维护性的工程挑战。

    推荐理由:AlphaTruck 平台在 1/5 比例车架上实现了高速非结构化地形自主导航,为算法开发与部署提供了新的硬件基准。

  14. arXiv · 机器人与计算机视觉82

    迈向概率安全的强化学习:理论与人形及空中机器人部署

    本文扩展了鲁棒安全梯度流强化学习框架以解决标准方法无法保证安全约束且依赖无偏估计器的局限。新 formulation 支持包括碰撞规避在内的轨迹级约束,并允许使用有偏的价值和梯度估计器。

    推荐理由:本文扩展了鲁棒安全梯度流强化学习框架,允许有偏估计器并支持轨迹级约束,实现了 Unitree G1 人形机器人与 Crazyflie 无人机的零样本仿真到现实部署。

  15. arXiv · 机器人与计算机视觉78

    ImpedanceMimic:基于学习阻抗的动作空间用于高保真运动模仿

    论文指出固定增益 PD 控制在运动与力跟踪间存在权衡,提出 ImpedanceMimic 强化学习策略,根据运动和力测量调节每关节的刚度、阻尼和位置设定值,推理时仅需运动输入。该方法在 129 名参与者和六种活动中均优于匹配的固定增益 PD 及现有控制器,接近专用回归器效果。通过惯性缩放先验表达增益,单策略即可控制特定生物力学模型,无需显式人体测量数据,并实现向未见过人类和人形机器人的零样本迁移。

    推荐理由:提出利用强化学习调节关节阻抗的策略,在无需显式人体参数时实现跨主体与机器人的零样本迁移。

  16. arXiv · 机器人与计算机视觉78

    RoboCoEvo:通过智能体 - 策略协同进化扩展机器人能力

    论文提出 RoboCoEvo 框架,旨在解决 MLLM 智能体与机器人基础模型(如 VLA)改进脱节的问题。该方法采用代码即策略的表述形式,让智能体开发可执行的失败检测与恢复程序以生成修正经验,随后将修正行为整合进模型的端到端策略中;更新后的策略分布变化反过来指导智能体程序的修订。

    推荐理由:提出基于代码的策略与 VLA 模型协同进化的框架,通过失败引导的迭代循环提升自主任务执行能力。

  17. arXiv · 机器人与计算机视觉78

    机器人策略中的推理计算分配:细化与重规划的权衡

    本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。

    推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。

  18. arXiv · 机器人与计算机视觉82

    TMA:通过触觉驱动电机适应实现仿真实到现实的强力人形机器人操作

    论文提出了 Tactile-Driven Motor Adaptation(TMA)方法,旨在解决具身智能在关节化环境中进行强力多指操作的挑战。该方法利用触觉反馈构建策略学习结构,以圆锥几何作为多指接触表示的归纳偏置,并基于触觉历史在线调整电机行为。

    推荐理由:提出触觉驱动的电机自适应方法,在仿真训练后零样本迁移至宇树 G1 机器人实现强力开门任务。

  19. arXiv · 机器人与计算机视觉78

    面向瓶颈环境的层级多机器人导航:通道聚焦软协调方法

    针对多机器人导航中全局调度对执行偏差敏感而局部方法缺乏长程协同的问题,提出一种结合软全局协调与灵活局部执行的框架。该方法利用凸集图支持优先级规划,通过感知通道的路线选择与时空路径受限优化避免冲突,并采用模型预测路径积分控制器在线避障及自适应跟踪策略应对偏差。

    推荐理由:提出基于通道的分层多机器人导航框架,在仿真与硬件实验中均实现高成功率并优于基线。

  20. arXiv · 机器人与计算机视觉84

    相同证据不同判决:CT 图像与 DICOM 元数据交付顺序改变 VLM 质检决策

    论文发现视觉语言模型(VLM)在检查临床影像时,若先见图像后见元数据,会推翻约 91% 的误判;反之则推翻 98-100%。研究基于 60 对含覆盖缺陷的 NLST 胸部 CT 及真实不匹配样本验证了该现象,并指出简单警告句可将顺序反转影响降至 9% 以下。

    推荐理由:研究发现 VLM 对相同证据的质检决策受输入顺序影响,揭示了临床影像处理中的新风险。