LaWAM:基于潜在世界动作模型的机器人策略
LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。
推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。
推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。
该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。
推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。
针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。
推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。
针对通用机器人操作数据稀缺且采集成本高的问题,论文提出 RoboGene 框架,结合多样性采样、智能体自反评估与人验证反馈记忆,自动生成单臂、双臂及移动机器人的多样化操作任务。
推荐理由:提出 RoboGene 框架,通过多样性驱动采样与智能体自反机制生成高质量操作任务,显著提升 VLA 模型泛化能力。
UniManip 是一个统一的机器人操作框架,核心是代理操作图(AOG),用于任务编排、状态跟踪和闭环故障恢复。该框架将高层语义意图转化为可执行原语,通过物理感知的场景图和局部规划器生成无碰撞轨迹,并利用结构化记忆自主诊断失败。
推荐理由:该框架通过代理操作图统一任务编排与物理交互,在 LIBERO-Pro 基准及真实场景中实现零样本泛化,优于主流 VLA 模型。
针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。
推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。
针对端到端自动驾驶中思维链(CoT)推理在简单场景下引入不必要计算开销的问题,本文提出了 AdaThinkDrive 框架。该框架受快慢思考启发,采用双模式推理机制,先在大规模驾驶数据上预训练获取世界知识,再通过监督微调让模型区分需要推理的场景。
推荐理由:提出双模式推理框架,在 Navsim 基准上提升决策质量并降低推理耗时。
针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。
推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。
arXiv 论文提出结合果蝇全脑记录与神经机械数字孪生的研究框架,测试优化内在目标是否能生成与果蝇行为及内部表征相匹配的人工智能体。研究采用 DIAYN 等算法训练无外部奖励的智能体,在虚拟系留球实验中成功复现了果蝇的自发运动统计特征、内部表征编码及未来转向预测能力,表明分层内在动机框架是逆向工程动物自主性的有力工具。
推荐理由:该研究利用果蝇全脑记录与神经机械数字孪生,验证了基于内在动机的分层策略能复现生物自主探索行为。
EAST 是一个数字孪生框架,旨在解决仅以任务成功衡量具身智能安全性不足的问题。它将文献中的安全隐患转化为涵盖感知、指令、环境、动作和时序的故障注入测试。该框架包含专家审核的安全故障分类学和八个可执行算子,通过三阶段工作流生成测试规范并验证故障实现。
推荐理由:该框架将文献中的安全隐患转化为数字孪生环境下的故障注入测试,能独立评估任务成功背后的安全风险。
论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。
推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。
论文介绍 Zero-real Agent Policy (ZAP) 方法,利用预训练的 27B 参数模型进行世界理解推理,再通过仿真任务监督微调与 GRPO 训练运动策略。该方法无需真实机器人数据即可在现实任务中达到 96.7% 成功率,并展现出对新物体、目标及未见物理形态的泛化能力。
推荐理由:提出 ZAP 方法,利用预训练大模型理解任务并通过仿真学习运动策略,在无真实数据训练下实现高成功率与强泛化。
针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。
推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。
该研究提出一种新方法,利用多模态(文本、音频、视频)上下文描述自动生成交互中复杂的全身手势序列。方法基于动态运动原型的统一数学实现,结合多模态基础模型生成参数化且高度上下文感知的动作变体。系统已集成到连续控制框架中,并通过知识蒸馏学习出更小、更高效的模型。用户研究表明,生成的运动在交互上下文中对齐度优于非调制或 API 级条件,且在不同机器人构型上展示了通用性。
推荐理由:提出基于动态运动原型的上下文感知生成方法,在类人平台上验证了交互对齐优势并展示了跨构型通用性。
该论文提出了一种分布式预测 flocking 控制器,用于在无领导者或全局地图的情况下协调大量微型机器人。研究在数字孪生环境中对比了六种屏障函数安全公式,发现离散时间 CBF 在多种任务(如趋光性、轨道运行)和不同集群规模下表现最佳,能有效平衡安全性与秩序。材料仅基于仿真结果,未涉及真实物理部署或量产数据。
推荐理由:原文在数字孪生环境中对比了六种安全约束公式,发现离散时间 CBF 在密集集群中碰撞最少且协调性最佳。
针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。
推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。
论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。
推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。
该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。
推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。
针对基于视觉语言模型的 GUI 智能体在连续演化界面中重复计算的问题,本文提出了 GUIFlow 框架。该框架通过位置对齐的历史 KV 状态注入、变化信号引导的视觉编码器与语言模型状态选择性更新,以及利用早期动作响应作为目标模型验证的推测草稿,实现了跨步骤的增量推理复用。
推荐理由:提出 GUIFlow 框架,在无额外训练下实现多步交互的增量推理,显著降低计算成本。
针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。
推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。