AsymEEF:一种支持非对称末端执行器的双机械臂操作框架
论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。
推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。
论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。
推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。
VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。
推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。
英伟达在 CoRL 大会上发布新一代世界动作模型 GR00T 2,该模型能同时预测未来画面与机器人动作,支持跨本体技能迁移(如从人类示范或手持设备迁移至机械臂)。
论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。
推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。
LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。
论文介绍 RoboColosseum 分布式评估框架,结合统一策略服务与标准化协议,在网络中本地部署的多样化机器人上评估物理智能。初始研究对比了五种视觉语言动作模型和三种前沿 AI 代理在四种具身形态上的表现。
论文介绍 H2RB(Human-To-Robot Bridge)框架,旨在利用人类演示低成本地适配预训练的视觉语言动作模型(VLA)。该方法通过几何锚定对齐统一人机观测表示,并利用解耦解码器共享动作潜变量,从而在保留预训练先验的同时缩小人机本体差距。
论文介绍 uni-robot-agent 框架,旨在通过开放权重模型降低机器人使用代理(RUA)的研究门槛。实验显示,无需特权输入时,Qwen3.8-Flash-Next 在 RoboDojo 基准上得分 31.39,超越 GPT-6 Astra-RoboProbe 的 28.97 分,并在 19 个真实世界任务中表现具有竞争力。
推荐理由:该工作提出统一框架 uni-robot-agent,验证了开源模型在无特权输入下即可达到与闭源模型相当的零样本操作能力。
清华大学联合无问芯穹、智元提出群体经验学习(CEL)新范式,让机器人通过借鉴同伴经验实现自主进化。在96台真实机器人集群中验证了该范式,五项任务成功率均超人类平均水平,且随规模扩大持续提升。系统层面构建了容错异步训练系统,算法层面提出失败引导的经验检索微调方法,打通了从单台能力提升到群体持续进化的产业化链路。
推荐理由:清华联合无问芯穹、智元提出群体经验学习新范式,在96台机器人集群中验证了规模化落地路径。
论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。
推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。
论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。
推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。
LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。
该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
论文提出了 CusADi2 软件库,旨在通过并行化每个批次实例内部的计算来降低机器人动力学函数评估的延迟。
论文提出 SocialCoAct-Agent 框架,将人形机器人的自中心社会协同行动建模为端到端智能体任务,实现从视觉观测与对话历史到言语响应及原子动作序列的生成、对齐与执行。
该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。
推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。
论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。
推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。
星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单综合平均成功率32.26%、得分39.26分两项指标均居第一,泛化与精细操作能力领先。该模型采用视频预测与动作学习分阶段训练策略,未依赖额外数据或外挂增强手段。代码已开源,项目主页提供复现入口。
推荐理由:星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单登顶,并开源代码与项目主页。
针对主动视觉在模仿学习中缺乏统一评测的问题,作者提出了 TAVIS 评估基础设施。该基准包含两个互补的任务套件——TAVIS-Head(5 项任务,利用颈部俯仰/偏转进行全局搜索)和 TAVIS-Hands(3 项任务,利用手腕相机处理局部遮挡),构建于 IsaacLab 平台并适配 GR1T2 与 Reachy2 两种人形躯干载体。
HARL-A 是一个基于 IsaacLab 的开源框架,旨在解决机器人对抗多智能体强化学习中缺乏支持异构形态的高保真物理仿真基础设施的问题。该框架扩展了 HARL 算法库与 IsaacLab,提供了模块化软件架构以降低定义新环境的工程开销,并包含 Sumo、Soccer 和 3D Galaga 三个涵盖推挤、球技竞技与追逐/逃避的基准环境。
论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。
推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。
NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。
推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。
Pollen Robotics 发布了 Grabette,这是一个低成本、开放的手持设备,用户无需机器人即可通过手持装置录制操作演示并自动转换为机器人可用的数据集。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。
LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。
Hugging Face LeRobot 发布 v0.6.0,将 GR00T 版本从 N1.5 替换为 N1.7 并重构 RL 栈以适配新模块化 API。此次更新移除了默认数据集依赖、重命名部分配置项(如 eval_freq),并新增 RoboCasa365、RoboMME 及 LIBERO-plus 等基准测试集成。
Hugging Face 开源机器人学习工具 LeRobot 发布 v0.5.0 版本,新增 Unitree G1 WBC 实现并强制要求 Python 3.12+。此次更新将依赖项 lerobot 同步至 0.5.0、transformers 升至 v5,同时修复了 frame_index 兼容性及 Parquet 元数据索引问题。
LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。
推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。
LeRobot 开源框架发布 v0.4.3 版本,新增 Unitree G1、OMX 及 WallX 等机器人支持并集成 NVIDIA IsaacLab-Arena。此次更新修复了数据采样器与 Pi05 编译问题,允许用户注册第三方策略并扩展 X-VLA 模型训练功能。
LeRobot 仓库更新至 v0.4.1 版本,主要改进包括移除 Libero 安装补丁、提升 Groot 和 Libero 的安装指引及数据集读取速度。此次更新还修正了视频信息键名错误、策略训练映射边界情况以及依赖项升级,旨在优化仿真环境加载与模型训练效率。
NVIDIA Isaac for Healthcare v0.4 发布端到端手术机器人工作流,提供从仿真数据生成、GR00T N1.5 微调到硬件部署的完整工具链与代码。该流程结合约 70% 的仿真数据和少量真实遥操作数据训练策略,支持在 DGX Spark 单台设备上完成全流程,并开放了键盘遥操作接口与 TensorRT 优化模型转换脚本。
Hugging Face LeRobot 团队宣布发布 v0.4.0 版本,核心更新包括数据集基础设施重构为 v3.0(支持 OXE 级海量数据流式处理与编辑工具)、集成 LIBERO 和 Meta-World 仿真环境、引入模块化数据处理管道 Processors、简化多 GPU 训练流程。
推荐理由:LeRobot v0.4.0 发布数据集编辑工具、LIBERO/Meta-World 仿真支持及 PI0/GR00T N1.5 模型集成,并推出硬件插件系统。
LeRobot 开源项目发布 v0.4.0 版本,核心更新包括引入 Libero 仿真环境、支持 Streaming Dataset 流式数据集以及添加 feetech 固件升级文档。此次发布还修复了 Windows 平台 busy_wait 实现错误,并将部分脚本功能迁移至独立目录以优化代码结构。
LeRobot 软件栈 v0.3.2 发布,新增 Pusht、Aloha 及 UMI-gripper 等数据集下载与评估功能。该版本整合了扩散策略(Diffusion Policy)与 ACT 策略模型,并优化了对 Apple Silicon MPS 后端的支持。更新还包含对 CPU 单核兼容性改进、WandB 日志配置调整以及多项训练与推理逻辑的修复。
LeRobot 发布异步推理框架,将动作预测与执行解耦至独立进程甚至机器运行,解决大模型输出动作块导致的运行时延迟问题。实验显示该方法在保持任务成功率的同时,使 SmolVLA 等策略的任务完成时间缩短约两倍。系统采用 gRPC 通信并支持自定义动作块聚合函数,用户可参考教程配置本地阈值参数以适配不同网络与算力环境。
Hugging Face 团队发布 SmolVLA-450M,这是一个可在消费级硬件运行的开源视觉语言动作(VLA)模型。该模型仅使用 LeRobot 社区共享的公开数据集进行预训练,在仿真和真实世界任务中表现优于大型专有模型及 ACT 等基线。架构采用流匹配 Transformer 与异步推理栈,支持 CPU 运行或单卡训练,显著降低研究门槛。
推荐理由:SmolVLA 是首个基于社区数据训练的紧凑型 VLA 模型,在消费级硬件上实现异步推理与高性能。
LeRobot 社区数据集项目正式推出,目标是建立类似 ImageNet 的多样化机器人基准数据。材料指出当前机器人数据存在任务标注缺失、特征映射不一致及低质量片段等挑战,并发布了包含图像采集、元数据记录、命名规范及任务描述的具体清单与工具入口,鼓励社区上传高质量数据以训练通用策略模型。
NVIDIA Isaac Lab 发布首个正式版本 v1.0.0,基于 Orbit 框架整合 OmniIsaacGymEnvs 的强化学习环境设计工作流。
推荐理由:NVIDIA Isaac Lab v1.0.0 正式发布,集成 RL 环境设计工作流并新增波士顿动力、宇树等多款机器人模拟支持。