NAVA-WAM:基于视频的原始动作先验学习用于世界动作模型
论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。
推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。
推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。
论文提出 KungfuAthleteBot(KAB)框架,旨在解决将视频中丰富的高动态人类动作迁移到人形机器人时的物理不一致、缺乏执行信息及无法处理失败与恢复三大难题。
推荐理由:该框架提出物理引导的轨迹修正与伪低动能采样机制,解决视频数据物理不一致问题,使机器人能从视频学习高动态动作并实现约 0.7 秒的统一策略跌倒恢复。
针对大规模视觉语言动作模型计算成本高难以部署的问题,本文提出了 FastOPD 框架,通过同策略蒸馏将大模型知识迁移至紧凑学生网络。该方法结合单状态教师监督与自一致性目标,理论上可恢复理想少步模型的分布特性。
推荐理由:提出基于同策略蒸馏的轻量化框架,在仿真与真机实验中验证了大幅降低推理延迟同时保持性能的方法。
该论文提出了一种本体感觉反射策略,旨在解决机器人富接触操作中的局部几何约束问题。通过在仿真中学习弹簧、平面和导轨三种交互原型的映射关系,该方法将任务空间指令转换为关节位置目标,无需直接测量力或几何信息。
推荐理由:该研究在仿真中训练了一种无需直接力控测量的本体感觉反射策略,将其作为底层执行层嵌入现有控制器。实验显示该方法在双臂抬箱和精密插销任务中显著降低了接触力并提升了硬件成功率,为复杂接触场景提供了稳健的解决方案。
论文 SimpleTouch 提出一种简单的 VLA 扩展方法,通过冻结的触觉编码器生成专家网络,仅利用动作监督和多步预测进行单阶段训练,无需额外的触觉策略预训练或视觉 - 触觉对齐。
推荐理由:该工作提出无需额外触觉策略预训练即可提升 VLA 模型在接触丰富任务中的表现,为简化机器人学习流程提供了新路径。
论文提出 Proprioceptive Action Models (PAM),旨在解决生成式机器人策略缺乏明确长视界意图的问题。该方法在一个 Transformer 去噪器内联合生成紧凑的关节空间路径草图和密集的可执行动作块,利用弧长参数化几何意图以消除对执行时间的依赖。
推荐理由:提出 Proprioceptive Action Models,通过生成关节空间路径草图与动作块联合建模,在仿真与真实双任务中显著提升成功率。
该论文针对现有世界 - 动作模型缺乏显式子任务推理的问题,提出了 Visual Goal-conditioned Action Reasoning (ViGAR) 分层框架。
推荐理由:提出分层框架将长程任务拆解为视觉子目标规划与执行,支持上下文学习与物理先验共享。
论文提出 ProAct 框架,针对现有基于流的 VLA 策略因生成源未受近期执行或未来演化条件约束而丢失局部连续性的问题,引入轻量级提案专家与前瞻性世界专家。前者将近期动作转化为场景感知假设以保留运动连续性,后者预测任务一致的潜在未来并校准各向异性生成源。
推荐理由:提出 ProAct 框架,通过世界校准的提案到动作流解决生成源不可预测问题,在仿真与真实任务中提升性能并降低推理延迟。
IEEE Spectrum Robotics 发布本周精选视频合集,涵盖新加坡科技设计大学开发的 ALBATROSS 混合空海机器人(利用机翼实现自旋降落与风帆航行)。
推荐理由:视频合集展示了从仿生飞行到灵巧手、飞虫神经控制及灾难救援的多项前沿演示,为团队提供跨领域灵感与工程参考。
Boston Dynamics 今日为其 Atlas 人形机器人发布了最新款手部装置。该手仅设四根手指(无小指),拥有 13 个自由度,采用直接驱动设计且所有关节由单一类型的致动器封装,旨在实现大规模制造并支持高保真仿真以进行强化学习训练。
推荐理由:波士顿动力发布 Atlas 新款四指人形机器人手,专为高保真仿真与强化学习设计,旨在通过简化结构提升灵巧操作性能。
Boston Dynamics 正式发布 Atlas 机器人新一代手部(GR3),采用 13 个自由度的四指结构,放弃小指以平衡成本与可靠性。该设计具备高保真仿真能力,支持强化学习训练及 sim-to-real 迁移,能够执行灵巧捏取、工具触发等复杂操作,并配备密集压力触觉传感器以实现精细感知。
推荐理由:波士顿动力发布 Atlas 新一代手部,通过高保真仿真与强化学习设计实现灵巧操作,为工业场景提供低成本、可量产的解决方案。
论文研究人形机器人在未训练过的任务中通过复用现有技能、自我改进并保留学习成果的能力。核心思路是利用规划与控制接口,将对象感知基础模型转化为行为策略,并通过大语言模型修订奖励程序结构、数值优化器调整常数,在仿真中验证后迭代提升。实验表明该方法能释放基础模型的潜在能力,处理复杂场景与长周期任务,并在宇树 G1 真机上实现自主运行。
推荐理由:该文提出无需重训的测试时演化方法,利用对象感知基础模型与奖励程序优化,在仿真及宇树 G1 真机上实现复杂任务。
论文研究如何在机器人基础模型中实现低延迟的单步动作生成,以克服多步流匹配的高推理耗时。作者发现直接应用 MeanFlow 会导致性能崩溃,并提出 Kinematic MeanFlow(K-MF)框架。
推荐理由:提出 Kinematic MeanFlow 框架解决 RFM 推理延迟问题,在 GR00T-N1.6 上将动作头延迟降低约 74%,支持从头训练与微调。
针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。
推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。
针对机器人操作中隐藏任务状态难以仅凭当前观察确定的问题,该研究引入 HIDE 基准,包含重复计数、历史状态召回和执行进度追踪等 15 个任务。作者提出 SEEK 框架,结合三种互补的记忆机制以保留历史证据并跟踪执行状态。评估显示现有策略在 HIDE 上存在显著局限,而记忆增强能提升仿真与真实实验中的成功率;单一机制虽有益处但可能损害其他任务,组合方案表现最佳。
推荐理由:该工作提出 HIDE 基准与 SEEK 框架,揭示部分可观测环境下机器人策略对历史状态记忆的依赖及现有方法的局限。
论文介绍 MotorMind,这是一个连接通用视觉语言模型(VLM)与确定性机器人控制的中间层动作表示及异步执行框架。该方案无需任务特定策略训练、代码智能体或 SAM3 等定位工具,在 LIBERO-PRO 基准上实现 66.7% 成功率(扰动下为 53.8%,优于此前零样本方法的最高 13.3%),并在真实 xArm6 机器人上达到 95% 平均成功率。
推荐理由:该工作提出 MotorMind 框架,证明通用 VLM 无需额外训练或工具即可实现零样本机器人操作,显著优于现有方法。
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
NVIDIA 在多伦多 ROSCon 会议上正式发布 Isaac ROS 5.0,这是一个基于 ROS 的 GPU 加速开源机器人开发框架。
推荐理由:NVIDIA Isaac ROS 5.0 发布支持 AI Agent 的机器人开发工具链,提供感知、操作与仿真闭环能力。
智元今日正式发布第二代感知驱动运动与全身控制框架 AGILE 2.0(AGIBOT Generative Intelligent Locomotion Engine)。
推荐理由:智元发布 AGILE 2.0 框架,将视觉感知直接纳入全身运动控制闭环,支持动态平衡与多机协同。
上海人工智能实验室发布『书生』物理世界模型W0,旨在为大模型进入物理世界提供支撑。该模型原生融合视觉、力觉和触觉,采用双工协同架构实现输入输出并行处理,并通过异步异频设计让规划与实时行动解耦。
推荐理由:上海AI实验室发布『书生』物理世界模型W0,原生融合力触视觉并采用双工协同与异步异频架构,在双臂湿实验任务中实现93.12%成功率与超低延迟。