ProgAgent:通过程序化训练学习工具编排
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
公司与机构
LeRobot的模型、数据集、设备接口与工具链,关注真实机器人学习的开放工程成果。
34 条精选近 30 天 16 条共收录 90 条
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。
推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。
该论文定义了个人代理的概念框架,并介绍了 nanoMuse,这是一个基于 GPL-3.0 许可的开源项目,旨在让每个用户拥有的设备(手机和电脑)都能运行独立的代理实例。
推荐理由:报告定义了个人代理的五项核心问题,并基于 Meta Muse 公开记录构建了 GPL-3.0 许可的开源替代方案 nanoMuse。
CUAWright 是一种仅约 3K 行代码的极简终端接口工具,利用 bash 命令作为唯一操作界面,文件系统作为动态演化空间以构建工具和上下文管理。实验显示,相比 GPT-5.5 基线及 GUI 原生接口,该方案在 OSWorld 2.0、Online-Mind2Web、Odysseys 等基准任务中显著提升成功率并降低估算成本,同时在 CAD 应用中也展现出更强的视觉理解与交互能力。
推荐理由:CUAWright 提出最小化终端接口方案,在数字任务与 CAD 应用中显著优于 GUI 及混合接口。
该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。
推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。
该研究通过 160,000 个策略在 114 个数据集上的大规模实验发现,离线强化学习与模仿学习中不存在单一主导算法,且超参数调优与基准组合显著影响结论。作者开发了数据集条件推荐器以提供任务特定建议,并开源了包含所有训练策略、评分、超参数及代码的 JumpStart 资源库,旨在提升研究可靠性。
推荐理由:大规模离线策略学习研究显示无单一最优算法,提供数据集条件推荐器与完整资源库。
NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。
推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。
LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。
LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。
推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。
Hugging Face LeRobot 团队宣布发布 v0.4.0 版本,核心更新包括数据集基础设施重构为 v3.0(支持 OXE 级海量数据流式处理与编辑工具)、集成 LIBERO 和 Meta-World 仿真环境、引入模块化数据处理管道 Processors、简化多 GPU 训练流程。
推荐理由:LeRobot v0.4.0 发布数据集编辑工具、LIBERO/Meta-World 仿真支持及 PI0/GR00T N1.5 模型集成,并推出硬件插件系统。
Hugging Face 团队发布 SmolVLA-450M,这是一个可在消费级硬件运行的开源视觉语言动作(VLA)模型。该模型仅使用 LeRobot 社区共享的公开数据集进行预训练,在仿真和真实世界任务中表现优于大型专有模型及 ACT 等基线。架构采用流匹配 Transformer 与异步推理栈,支持 CPU 运行或单卡训练,显著降低研究门槛。
推荐理由:SmolVLA 是首个基于社区数据训练的紧凑型 VLA 模型,在消费级硬件上实现异步推理与高性能。
Hugging Face 与 Yaak 合作发布 Learning to Drive (L2D),这是全球最大的开源自动驾驶数据集,包含德国 30 个城市、60 辆电动车在 3 年内采集的 5000+ 小时多模态数据(90+ TB)。
推荐理由:Yaak 与 LeRobot 合作推出全球最大开源自动驾驶数据集 L2D,包含德国 30 城 5000+ 小时多模态数据及专家/学员双策略。
NVIDIA Isaac Lab 发布首个正式版本 v1.0.0,基于 Orbit 框架整合 OmniIsaacGymEnvs 的强化学习环境设计工作流。
推荐理由:NVIDIA Isaac Lab v1.0.0 正式发布,集成 RL 环境设计工作流并新增波士顿动力、宇树等多款机器人模拟支持。