AutodidactWAM:从生成视频到机器人动作的跨模态自蒸馏研究
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。
推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。
论文 CoRE 研究单策略去中心化协作,即所有机器人运行同一策略且无身份标签或互通信。该方法从多任务演示中学习协作角色专家,利用外观与几何信息提供局部交互证据,并通过查询条件交叉注意力实现可适应预测路径。训练阶段使用动作 - 专家对齐损失监督专家选择。在仿真基准中表现最佳,物理实验显示其对伙伴延迟和减速具有鲁棒性。
推荐理由:该工作提出单策略去中心化协作框架,在仿真与物理实验中均验证了多机器人互补行为的有效性。
该论文针对精密装配中位姿误差导致观测与动作坐标系偏移且无法仅凭本体感知识别的问题,提出在训练阶段引入特权教师或重标演示数据以补偿缺失信息的方法。实验显示,该方法在 FORGE 基准测试中,面对 0 至 5 毫米的位姿噪声时成功率维持在 92% 至 99%,显著优于其他基线方法;在 Franka 机器人零样本部署下,面对 5 毫米噪声时的成功率为 83.3%,而最强状态基线仅为 34.4%。
推荐理由:针对精密装配中的位姿误差问题,提出利用特权噪声蒸馏提升视觉 - 力控策略鲁棒性的方法。
arXiv 预印本论文 ESP 提出了一种无需教师模型的能量分数策略,通过直接映射上下文和噪声到动作块来消除迭代采样带来的推理延迟。该方法使用能量分数而非均方误差训练动作头,在仿真与真实操作任务中展现了具有竞争力的成功率且显著降低了生成延迟。
推荐理由:提出无需教师的能量分数策略,在仿真与真实操作中实现低延迟的多模态动作生成。
针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。
推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。
针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。
推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。
MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。
推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。
该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。
推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。
针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。
推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。
推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。
该论文提出通用操作表示(UMR),将操作分解为与本体无关的世界流和本体轨迹两个几何关联组件,并实例化为 World--Ego Point VLA 模型。研究通过数据高效策略提升效率,在仿真基准上平均成功率达 97.5%,真实世界实验中利用约 10 分钟的人类演示即可实现跨机器人零样本迁移,平均成功率为 91.7%。
推荐理由:提出统一动作表示 UMR,实现从人类演示到异构机器人的零样本技能迁移。
针对细粒度物体操作中场景级视觉条件缺乏明确选择、类别级指导难以区分相似物体的挑战,本文提出一种结合持久物体记忆与聚焦视觉条件的框架。首先引入 FO Memory-driven SAM3(FOM-SAM3),在有限多视角配准图像中学习可复用的细粒度物体记忆 token 并冻结 SAM3;其次提出聚焦空间 - 外观编码(FSAE),融合物体内部外观特征与显式边界框以条件化动作策略。
推荐理由:提出 SAM3 引导的视觉运动策略框架,利用持久记忆与聚焦视觉条件解决细粒度物体操作难题。
DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。
推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。
EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。
推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。
针对现有视觉语言模型(VLM)仅在通用场景下以零样本方式评估、难以应对专业领域罕见概念的问题,作者提出了 AnyGroundBench 基准。该基准涵盖动物、工业、体育、手术和公共安全五个专业领域,将专家标注的新视频与既有数据集统一,并提供了专用的有限训练子集。
推荐理由:该基准通过五个专业领域的数据与有限训练子集,系统评估了 VLM 在时空视频定位中的零样本泛化及域适应能力。
针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。
推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。
论文提出 FLASH Policy,利用连续勒让德多项式替代离散动作块生成,并通过历史系数初始化流匹配过程以加速推理。该方法无需数值近似即可直接提供速度前馈信号。实验显示其在五个仿真和两个真实操作任务中成功率均不低于 92%,单集推理时间为 31.40ms,训练收敛速度快于 ACT 且控制器跟踪误差显著降低。材料为 NeurIPS 2026 接收的预印本,代码与论文链接已提供。
推荐理由:FLASH 通过稀疏采样与连续多项式轨迹表示,将推理耗时降至 31.40ms,在五个仿真和两个真实任务中成功率均超 92%。
针对接触丰富任务中因目标、接触条件或动力学变化导致策略失效的问题,本文提出一种结合深度确定性策略梯度与有界极值搜索的混合控制器。RL 策略负责快速操作,有界 ES 确保在偏离训练分布时系统的鲁棒性。研究证明了机械臂在有限时间内收敛到物体及随后以有限时间收敛至有界速度移动目标的理论性质,并给出了收敛时间的解析公式与增益调节方法。
推荐理由:提出结合强化学习与有界极值搜索的混合控制器,在目标变化或摩擦分布偏移下实现有限时间收敛。