跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 7 页

11月11日周三第 121–140 条
  1. MIT CSAIL News72

    Workspace Models:一种新型记忆架构帮助机器人快速掌握复杂技能

    MIT CSAIL 和卡内基梅隆大学研究人员提出了名为 Workspace Models 的新方法,旨在解决现有基于 AI Agent 的机器人在处理长历史视觉数据时存在的延迟高、计算成本大及反应慢的问题。

    推荐理由:MIT CSAIL 与卡内基梅隆大学提出 Workspace Models,通过离线大模型蒸馏轻量化模块解决机器人长时记忆延迟问题。

11月10日周二
  1. Google DeepMind82

    DeepMind 发布 Gemini Robotics 2.5 模型以加速现实世界灵巧操作能力

    Google DeepMind 正式发布 Gemini Robotics 2.5,这是其目前最强大的视觉语言动作(VLA)模型,旨在提升机器人学习速度与广度。该模型在超过 200 项任务测试中,相比基线成功率高出 30% 至 100%,完成任务速度快 20% 至 30%。

    推荐理由:原文介绍了 Gemini Robotics 2.5 在任务广度、可靠性与安全方面的提升,并披露了与奔驰产线合作的实测数据及 ASIMOV-Jailbreak 基准。

  2. 量子位82

    蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch

    蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch 及其轻量版 Tiny,旨在解决原始触觉信号导致动作模型性能下降的问题。该模型将磁、视、压阻三类传感器数据统一编码为触觉 Token,支持跨硬件与传感器布局的泛化。

    推荐理由:蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch,通过统一编码解决多传感器数据异构难题,显著提升机器人精细操作成功率。

  3. arXiv · 机器人与计算机视觉82

    LAFP:通过流匹配保留潜在策略学习中的潜在动作结构

    针对大规模无标签视频与有限真实交互数据训练潜在策略时,现有行为克隆方法易导致多模态动作分布坍缩的问题,本文提出 Latent Action Flow Policy(LAFP)。

    推荐理由:提出利用流匹配保持潜在动作结构的方法,在模仿学习任务中平均成功率提升 8.2%。

  4. arXiv · 机器人与计算机视觉82

    基于逆运动学的智驾 VLA 模型:解决盲点规划与捷径学习问题

    该论文指出代表性驾驶视觉语言模型(Driving VLAs)存在反事实障碍插入下的盲点规划问题,即车辆出现在前方时轨迹仍不变。研究通过偏差 - 方差分析发现模型依赖 ego 状态和指令的捷径,并提出了一种受逆运动学启发的架构:利用 LLM 预测未来视觉场景提供密集监督,并设计独立的逆运动学网络仅基于当前和未来视觉状态解码轨迹,以抑制对 ego 状态的依赖。

    推荐理由:该研究通过逆运动学架构解决了智驾 VLA 模型依赖 ego 状态捷径的问题,仅用摄像头在 NAVSIM 和 nuScenes 上实现了 SOTA 轨迹规划性能。

  5. arXiv · 机器人与计算机视觉82

    超越动作残差:基于瓶颈潜变量的现实机器人策略引导

    论文提出 Z-Perturbation Reinforcement Learning (ZPRL) 方法,通过冻结预训练的流匹配策略并利用奖励驱动的残差扰动在紧凑的瓶颈潜变量空间进行在线强化学习适应。

    推荐理由:提出通过瓶颈潜变量接口进行在线强化学习策略引导,在仿真与真实世界中均提升了预训练模仿策略的样本效率与成功率。

  6. arXiv · 机器人与计算机视觉78

    ALAM:一种用于视觉语言动作模型的代数一致潜在动作模型

    针对视觉语言动作模型缺乏带标注动作数据的问题,该研究提出 ALAM 模型,从无动作视频中提取物理世界变化先验。通过帧三元组学习受重建约束且符合组合与可逆一致性的潜在转换,构建局部加性转换空间。

    推荐理由:该工作提出代数一致潜在动作模型,利用无标签视频构建结构化先验,显著提升 VLA 策略在仿真及真实任务中的成功率。

  7. arXiv · 机器人与计算机视觉85

    MolmoB0T:大规模仿真赋能零样本操作

    论文挑战“仿真无法直接迁移至现实”的共识,证明在足够大规模的合成训练数据下,无需真实数据采集或微调即可实现静态与移动操作的零样本泛化。作者开源了 MolmoBot-Engine 生成管线及包含 170 万专家轨迹的 MolmoBot-Data 数据集,并基于此训练了三类策略模型。

    推荐理由:提出仅靠大规模合成数据即可实现零样本现实世界操作,并开源了生成管线与百万级轨迹数据集。

  8. arXiv · 机器人与计算机视觉78

    Logit-Conditioned Diffusion Decoding for Frozen Discrete-Token VLMs

    论文提出 DCDD 框架,旨在解决预训练离散 Token 视觉语言模型(VLM)因 VQ-VAE 解码阶段导致的视觉保真度瓶颈。该方法无需重训基础模型,而是利用模型采样前计算出的 Logit 分布作为条件来驱动扩散解码器。

    推荐理由:该工作提出 DCDD 框架,在不重训预训练离散 Token VLM 的前提下利用采样前 Logit 分布提升生成图像保真度。

  9. arXiv · 机器人与计算机视觉82

    超越拓扑:用于运动策略学习的形态对称图表示

    论文提出一种形态对称图表示方法(MS-PPO/MS-SAC),将机器人拓扑图与形态对称性诱导的置换及符号变化显式结合,构建等变动作均值与不变评论家网络。该方法在宇树 Go2 和 G1 上实现了最低的跟踪误差、最高的仿真回报以及零样本仿真到现实部署能力,且参数量显著减少。

    推荐理由:提出形态对称图表示方法,在宇树 Go2 和 G1 上实现更低跟踪误差与最高仿真回报,且参数量显著减少。

  10. arXiv · 机器人与计算机视觉78

    RAIL:面向学生兼容的教师策略的表征对齐模仿学习

    针对强化学习中高维观测与稀疏奖励的挑战,本文提出 RAIL 方法,通过在教师训练阶段利用对比学习构建师生共享的潜在表征空间,使教师策略仅基于该空间学习可被学生复现的行为。该方法无需修改奖励函数或事后微调学生策略,即在多个环境中优于强基线并超越直接从原始观测进行强化学习的表现,同时支持通过仅训练教师实现对新任务的零样本迁移。

    推荐理由:提出在教师策略训练中引入对比学习以对齐表征,解决因信息不对称导致的模仿差距问题。

  11. arXiv · 机器人与计算机视觉78

    SCALE:基于 LLM 引导的经验内化与小模型优先的概念抽象框架

    论文提出 SCALE 框架,旨在让轻量级自主智能体在不依赖昂贵大语言模型推理的情况下持续获取可复用知识。该架构由小模型处理常规预测,仅在预测错误或积累跨回合证据时触发 LLM 进行反思;LLM 分析历史经验并生成反事实示例以提出可复用的概念假设。

    推荐理由:SCALE 框架通过小模型处理常规任务、LLM 仅在误差时介入反思,实现了经验知识的紧凑内化与层级抽象。

  12. arXiv · 机器人与计算机视觉78

    基于 Transformer 的无需显式状态估计的可泛化输出反馈最优控制

    该研究提出一种基于 Transformer 的策略,用于解决部分观测且含噪声的多输入多输出线性时不变系统族的通用控制问题。策略通过共享表示与编码技术,仅需短时噪声测量即可生成控制动作,无需植物矩阵或状态估计器。

    推荐理由:论文提出利用 Transformer 实现无需显式状态估计的通用输出反馈最优控制,在仿真系统中达到接近 LQG 的最优成本。

  13. arXiv · 机器人与计算机视觉78

    基于情境变量的主动式社交机器人对话发起方法

    针对现有大语言模型在主动发起对话时缺乏情境感知的问题,本文提出了一套联合表征感知、情境和交互线索的情境变量架构,并构建了覆盖多样化日常场景的主动式对话开启语料数据集(CCO)。通过利用该数据集微调小语言模型(SLMs),研究展示了显式的情境结构化与针对性数据策展能显著提升对话发起的质量与时机恰当性。

    推荐理由:提出情境变量架构与专用数据集,微调小模型显著改善主动对话发起的质量与时机。

  14. arXiv · 机器人与计算机视觉78

    World In-Context Learning for Agentic Robot Manipulation

    针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。

    推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。

  15. arXiv · 机器人与计算机视觉78

    自然语言机器人车队控制的类型化计划正确性边界研究

    该论文考察了在自然语言机器人车队控制中,计划验证和执行报告所确立的内容。研究基于包含 20 个模拟机器人的三层 ROS2 实现,对 44 个离线基准案例进行了检查,发现无响应模式配置下 70.0%-87.3% 的响应通过测试。

    推荐理由:该预印本通过 ROS2 仿真验证了自然语言指令在机器人车队控制中的正确性边界,揭示了执行报告与原始任务要求不一致的潜在风险。

  16. arXiv · 机器人与计算机视觉78

    面向语言条件双手动操作的执行感知任务规划方法

    论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。

    推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。

  17. arXiv · 机器人与计算机视觉78

    PCTac:用于灵巧操作的机械变色光子晶体触觉传感器

    现代视觉 - 触觉传感器通常通过成像柔性界面变形来感知接触,但力相关信息仍需间接推断。本文提出 PCTac,一种开源的机械变色光子晶体指尖传感器,利用局部应力直接转化为空间分辨的结构色场作为触觉观测。

    推荐理由:该研究提出基于机械变色光子晶体的触觉传感器,在真实机器人操作中显著优于传统 RGB 与纯视觉基线。

  18. arXiv · 机器人与计算机视觉78

    UniOMA:一种用于机器人感知的统一最优传输多模态结构对齐方法

    针对机器人学习中多模态表征难以实现通用且良好对齐的挑战,本文提出 UniOMA 方法,通过引入几何感知的 Gromov-Wasserstein (GW) 距离正则化来增强现有的对比损失。

    推荐理由:提出结合几何感知的 Gromov-Wasserstein 距离正则化,解决多模态表征结构对齐难题。

  19. arXiv · 机器人与计算机视觉78

    Be My Eye:超越机器人自身视角的感知与协作方法

    针对多机器人协作中个体观测不足的问题,论文提出一种面向任务的主动上下文共享框架,将原始观测转化为紧凑表示以保留关键信息。该方法分两阶段训练:首先联合编码车载观测与任务指令生成紧凑上下文;其次将其集成到预训练的视觉语言动作策略中实现双向交互。实验显示在受限通信条件下性能显著提升,并在复杂双机器人真实场景中验证了有效性。

    推荐理由:提出面向任务的主动上下文共享框架,在受限通信预算下提升双机器人协作任务性能。