跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉78

    AsymEEF:一种支持非对称末端执行器的双机械臂操作框架

    论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。

    推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。

11月16日周一
  1. arXiv · 机器人与计算机视觉78

    VLAN:面向多主体的视觉语言可访问导航基准

    VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。

    推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。

11月11日周三
11月6日周五
  1. arXiv · 机器人与计算机视觉78

    HITCH:教视觉语言模型通过全身 harness 操控人形机器人

    论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。

    推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。

  2. Hugging Face LeRobot · Releases38

    LeRobot v0.7.0 发布:重构安装训练与硬件层,支持 PyPI CUDA 13 及 Feetech/Dynamixel 驱动

    LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。

11月3日周二
11月1日周日
  1. Hugging Face Daily Papers82

    Democratizing Robot-Use Agents: A Unified Harness with Open Models

    论文介绍 uni-robot-agent 框架,旨在通过开放权重模型降低机器人使用代理(RUA)的研究门槛。实验显示,无需特权输入时,Qwen3.8-Flash-Next 在 RoboDojo 基准上得分 31.39,超越 GPT-6 Astra-RoboProbe 的 28.97 分,并在 19 个真实世界任务中表现具有竞争力。

    推荐理由:该工作提出统一框架 uni-robot-agent,验证了开源模型在无特权输入下即可达到与闭源模型相当的零样本操作能力。

10月30日周五
  1. 量子位80

    清华联合无问芯穹、智元提出具身智能群体经验学习新范式

    清华大学联合无问芯穹、智元提出群体经验学习(CEL)新范式,让机器人通过借鉴同伴经验实现自主进化。在96台真实机器人集群中验证了该范式,五项任务成功率均超人类平均水平,且随规模扩大持续提升。系统层面构建了容错异步训练系统,算法层面提出失败引导的经验检索微调方法,打通了从单台能力提升到群体持续进化的产业化链路。

    推荐理由:清华联合无问芯穹、智元提出群体经验学习新范式,在96台机器人集群中验证了规模化落地路径。

10月29日周四
  1. Hugging Face Daily Papers84

    CaPtain:一种用于后训练代码策略机器人的流水线

    论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。

    推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。

10月26日周一
  1. arXiv · 机器人与计算机视觉82

    无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新

    研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。

    推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。

10月22日周四
  1. Hugging Face Daily Papers82

    AW-0:一种结合代码规划与世界动作预测的代理机器人框架

    论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。

    推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。

10月21日周三
  1. arXiv · 机器人与计算机视觉51

    LocoPilot:基于单操作员双边遥操作的移动 - 操作策略学习框架

    LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。

10月20日周二
  1. arXiv · 机器人与计算机视觉78

    并非所有特征都同等重要:VLA 模型的机理研究与 Action Atlas 平台发布

    该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

    推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

  2. arXiv · 机器人与计算机视觉83

    DUET:面向任务无关的人形机器人上下肢执行解耦框架

    该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。

    推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。

10月19日周一
  1. arXiv · 机器人与计算机视觉83

    Scaling Online Exploration for Robot Agents:RAX 框架发布

    论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。

    推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。

10月9日周五
  1. 量子位86

    星动纪元自研世界动作模型VPP2登顶RoboDojo榜单并开源

    星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单综合平均成功率32.26%、得分39.26分两项指标均居第一,泛化与精细操作能力领先。该模型采用视频预测与动作学习分阶段训练策略,未依赖额外数据或外挂增强手段。代码已开源,项目主页提供复现入口。

    推荐理由:星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单登顶,并开源代码与项目主页。

10月8日周四
  1. arXiv · 机器人与计算机视觉58

    TAVIS:面向模仿学习的以自我为中心主动视觉与预期性注视基准

    针对主动视觉在模仿学习中缺乏统一评测的问题,作者提出了 TAVIS 评估基础设施。该基准包含两个互补的任务套件——TAVIS-Head(5 项任务,利用颈部俯仰/偏转进行全局搜索)和 TAVIS-Hands(3 项任务,利用手腕相机处理局部遮挡),构建于 IsaacLab 平台并适配 GR1T2 与 Reachy2 两种人形躯干载体。

10月7日周三
  1. arXiv · 机器人与计算机视觉68

    HARL-A:IsaacLab 上异构多智能体对抗强化学习可扩展基准框架发布

    HARL-A 是一个基于 IsaacLab 的开源框架,旨在解决机器人对抗多智能体强化学习中缺乏支持异构形态的高保真物理仿真基础设施的问题。该框架扩展了 HARL 算法库与 IsaacLab,提供了模块化软件架构以降低定义新环境的工程开销,并包含 Sumo、Soccer 和 3D Galaga 三个涵盖推挤、球技竞技与追逐/逃避的基准环境。

10月6日周二
  1. Hugging Face Daily Papers78

    PAIR:在视觉语言动作模型中连接感知与动作

    论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。

    推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。

9月17日周四
  1. NVIDIA Isaac Lab · Releases87

    Isaac Lab 3.0 Early Access 发布:支持多后端与零依赖机器人学习

    NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。

    推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。

7月21日周二
7月7日周二
  1. NVIDIA Blog · Physical AI82

    NVIDIA 与 Hugging Face 向 LeRobot 开放 Isaac GR00T 1.7 等模型与框架

    NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。

    推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。

  2. Hugging Face Blog · LeRobot82

    LeRobot v0.6.0 发布:引入世界模型策略、奖励模型 API 与新仿真基准

    LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。

    推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。

7月6日周一
3月9日周一
  1. Hugging Face Blog · LeRobot80

    开源具身智能框架 LeRobot v0.5.0 发布:首发 Unitree G1 人形支持与仿真环境直连 Hub

    LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。

    推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。

1月22日周四
11月10日周一
  1. Hugging Face LeRobot · Releases3

    LeRobot 发布 v0.4.1 版本,优化安装指令并修复关键数据瓶颈与策略训练映射逻辑

    LeRobot 仓库更新至 v0.4.1 版本,主要改进包括移除 Libero 安装补丁、提升 Groot 和 Libero 的安装指引及数据集读取速度。此次更新还修正了视频信息键名错误、策略训练映射边界情况以及依赖项升级,旨在优化仿真环境加载与模型训练效率。

10月29日周三
  1. Hugging Face Blog · LeRobot65

    NVIDIA Isaac for Healthcare v0.4 发布手术机器人端到端工作流

    NVIDIA Isaac for Healthcare v0.4 发布端到端手术机器人工作流,提供从仿真数据生成、GR00T N1.5 微调到硬件部署的完整工具链与代码。该流程结合约 70% 的仿真数据和少量真实遥操作数据训练策略,支持在 DGX Spark 单台设备上完成全流程,并开放了键盘遥操作接口与 TensorRT 优化模型转换脚本。

10月24日周五
  1. Hugging Face Blog · LeRobot82

    LeRobot v0.4.0 发布:开源机器人学习大升级

    Hugging Face LeRobot 团队宣布发布 v0.4.0 版本,核心更新包括数据集基础设施重构为 v3.0(支持 OXE 级海量数据流式处理与编辑工具)、集成 LIBERO 和 Meta-World 仿真环境、引入模块化数据处理管道 Processors、简化多 GPU 训练流程。

    推荐理由:LeRobot v0.4.0 发布数据集编辑工具、LIBERO/Meta-World 仿真支持及 PI0/GR00T N1.5 模型集成,并推出硬件插件系统。

  2. Hugging Face LeRobot · Releases18

    LeRobot 发布 v0.4.0 版本,新增 Libero 环境、Streaming Dataset 及 feetech 固件更新文档

    LeRobot 开源项目发布 v0.4.0 版本,核心更新包括引入 Libero 仿真环境、支持 Streaming Dataset 流式数据集以及添加 feetech 固件升级文档。此次发布还修复了 Windows 平台 busy_wait 实现错误,并将部分脚本功能迁移至独立目录以优化代码结构。

8月2日周六
  1. Hugging Face LeRobot · Releases11

    LeRobot 发布 v0.3.2 版本,集成扩散策略与多数据集支持

    LeRobot 软件栈 v0.3.2 发布,新增 Pusht、Aloha 及 UMI-gripper 等数据集下载与评估功能。该版本整合了扩散策略(Diffusion Policy)与 ACT 策略模型,并优化了对 Apple Silicon MPS 后端的支持。更新还包含对 CPU 单核兼容性改进、WandB 日志配置调整以及多项训练与推理逻辑的修复。

7月10日周四
  1. Hugging Face Blog · LeRobot75

    LeRobot 发布异步推理框架以优化机器人策略性能

    LeRobot 发布异步推理框架,将动作预测与执行解耦至独立进程甚至机器运行,解决大模型输出动作块导致的运行时延迟问题。实验显示该方法在保持任务成功率的同时,使 SmolVLA 等策略的任务完成时间缩短约两倍。系统采用 gRPC 通信并支持自定义动作块聚合函数,用户可参考教程配置本地阈值参数以适配不同网络与算力环境。

6月3日周二
  1. Hugging Face Blog · LeRobot82

    SmolVLA:基于 LeRobot 社区数据的紧凑型视觉语言动作模型发布

    Hugging Face 团队发布 SmolVLA-450M,这是一个可在消费级硬件运行的开源视觉语言动作(VLA)模型。该模型仅使用 LeRobot 社区共享的公开数据集进行预训练,在仿真和真实世界任务中表现优于大型专有模型及 ACT 等基线。架构采用流匹配 Transformer 与异步推理栈,支持 CPU 运行或单卡训练,显著降低研究门槛。

    推荐理由:SmolVLA 是首个基于社区数据训练的紧凑型 VLA 模型,在消费级硬件上实现异步推理与高性能。

5月11日周日
  1. Hugging Face Blog · LeRobot52

    LeRobot 社区数据集:构建机器人界的 ImageNet

    LeRobot 社区数据集项目正式推出,目标是建立类似 ImageNet 的多样化机器人基准数据。材料指出当前机器人数据存在任务标注缺失、特征映射不一致及低质量片段等挑战,并发布了包含图像采集、元数据记录、命名规范及任务描述的具体清单与工具入口,鼓励社区上传高质量数据以训练通用策略模型。

6月26日周三