LeRobot v0.6.0 发布:引入世界模型策略、奖励模型 API 与新仿真基准
LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。
内容形态
可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。
356 条精选近 30 天 209 条共收录 1,471 条
LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。
NVIDIA Isaac Lab 发布 v3.0.0-beta2 版本,重点稳定了 PhysX、Newton 及 OVPhysX 等多后端架构,增强了 Newton 物理与 Kit-less 工作流支持。
推荐理由:Isaac Lab 3.0 Beta 2 稳定了多后端架构与 Newton 物理支持,简化训练命令并修复多项运行时问题。
Google DeepMind 正式发布 Gemma 4 12B,这是其首款原生支持音频输入的中尺寸多模态模型。该模型采用无编码器统一架构,视觉和音频信号直接流入 LLM 主干,在标准基准测试中表现接近 26B MoE 版本但显存占用减半,仅需 16GB 显存即可在消费级笔记本本地运行。
推荐理由:Gemma 4 12B 采用无编码器统一架构,原生支持音频输入且仅需 16GB 显存即可在本地笔记本运行。
Google DeepMind Accelerator: Robotics 项目于本周在伦敦启动,从众多申请者中精选了 15 家来自欧洲的早期机器人初创企业加入该计划。
推荐理由:DeepMind 宣布启动面向欧洲早期机器人初创企业的加速器项目,提供为期三个月的导师指导、技术栈及 Gemini 机器人模型支持。
NVIDIA 与微软在 Microsoft Build 2026 上宣布合作推出面向智能体的统一技术栈,包括专为 Windows 打造的 RTX Spark 笔记本和 DGX Station 工作站。
推荐理由:NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 开源模型及 RTX Spark 等新硬件,提供从端侧到云端的统一 Agent 部署栈。
NVIDIA Research 在 ICRA 会议上展示了八篇论文,推动机器人从受控演示向真实世界通用自主性转变。
推荐理由:NVIDIA Research 在 ICRA 展示多项 sim-to-real 技术,涵盖多臂协同、灵巧操作与视觉语言动作模型,提供 GitHub 代码与 Isaac Lab 等工具链入口。
Boston Dynamics 发布了专为高强度物理工作设计的 Atlas 人形机器人,展示了其通过强化学习在仿真中练习数百万小时以掌握搬运迷你冰箱等复杂任务的能力。
推荐理由:Boston Dynamics 展示 Atlas 通过强化学习与高保真仿真训练,实现搬运重物等工业级任务,并开放相关技术细节。
Berkeley BAIR 发布综述文章,探讨让大模型自主决定何时分解任务、生成并发线程数及协调策略的自适应并行推理(APR)范式。内容回顾了从固定并行到动态控制的演进,对比了 ThreadWeaver、Multiverse 等方法的 KV Cache 管理与训练奖励设计差异,并指出当前在推理时是否持续提升准确率、训练稳定性及硬件感知调度等方面仍存在开放问题。
推荐理由:文章系统梳理了自适应并行推理范式,对比了从固定并行到动态控制的技术演进路径及训练奖励设计差异。
Figure 展示了 Helix-02 双机器人无中央协调器、仅凭视觉语言动作策略协同整理卧室的演示,验证了单一神经网络处理多智能体协作与变形物体操作的可行性。
推荐理由:Figure 展示了 Helix-02 双机器人无中央协调器、仅凭视觉语言动作策略协同整理卧室的演示,验证了单一神经网络处理多智能体协作与变形物体操作的可行性。
Google DeepMind 发布 Decoupled DiLoCo(Distributed Low-Communication)架构,旨在解决未来超大规模模型训练中维持数千芯片同步的物流挑战。
推荐理由:DeepMind 推出 Decoupled DiLoCo 架构,支持在低带宽和异构硬件下训练大模型,显著提升分布式训练的容错性与效率。
World Labs 发布 Spark 2.0,集成 Level-of-Detail、渐进式流传输和虚拟内存技术,可在任何设备上流畅渲染包含数亿高斯椭球体的大规模 3D 场景。新工具提供 .RAD 文件格式以支持按需加载细节,并开源了 Rust 编写的核心代码与示例仓库,允许开发者在 Web 浏览器中构建交互式 3DGS 体验。
推荐理由:World Labs 发布 Spark 2.0,通过 LOD、渐进式流传输和虚拟内存技术,支持在浏览器端渲染海量 3DGS 场景。
NVIDIA Isaac Lab 3.0 Beta 基于 Isaac Sim 6.0 推出重大架构升级,引入多后端物理引擎(默认 PhysX、新 Newton)、可插拔渲染器系统及 Warp 原生数据管道。
推荐理由:Isaac Lab 3.0 Beta 发布多后端架构与无套件安装模式,支持 Newton 物理引擎及多种渲染器,为机器人学习研究提供更灵活的仿真环境。
LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。
推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。
NVIDIA Isaac Lab 开源仿真平台发布 v2.3.2 版本,重点聚焦稳定性提升与工作流优化。核心新功能包括支持多旋翼与推进器驱动的无人机环境、基于视觉的触觉传感器(含形状感知示例)、多网格 RayCaster 以及新的 OpenArm 环境。
推荐理由:该版本发布多旋翼无人机、视觉触觉传感器等新功能,并迁移至 Ruff 工具链与统一 USD 接口。
Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),这是一个统一的编码器 - 解码器 Transformer 架构,通过查询机制从 2D 视频中恢复 3D 动态世界。
推荐理由:DeepMind 推出 D4RT 统一模型,以查询机制实现 300 倍加速的 4D 场景重建与追踪,支持机器人导航、AR 及世界模型构建。
Skild AI 今日宣布完成 C 轮融资,领投方为软银,参投方包括英伟达、贝佐斯等,公司估值超过 140 亿美元。融资将用于加速其通用机器人基础模型(Omni-Bodied Intelligence)的研发与真实世界部署。
推荐理由:Skild AI 宣布完成 C 轮融资,估值超 140 亿美元,将重点投入通用机器人基础模型研发与真实场景部署。
NVIDIA Isaac Lab 2.3.0 版本基于 Isaac Sim 5.1,重点增强具身智能与遥操作工作流。核心更新包括引入 Dexterous RL(DexSuite)环境以支持 Kuka 机械臂与 Allegro 手,集成 SkillGen 框架实现 cuRobo GPU 加速运动规划,并新增 G1 人形机器人环境结合强化学习与逆运动学进行移动操作任务演示。
推荐理由:Isaac Lab 2.3.0 发布,新增 Dexterous RL 环境、Mimic-SkillGen 集成及 G1 人形机器人仿真支持。
Hugging Face LeRobot 团队宣布发布 v0.4.0 版本,核心更新包括数据集基础设施重构为 v3.0(支持 OXE 级海量数据流式处理与编辑工具)、集成 LIBERO 和 Meta-World 仿真环境、引入模块化数据处理管道 Processors、简化多 GPU 训练流程。
推荐理由:LeRobot v0.4.0 发布数据集编辑工具、LIBERO/Meta-World 仿真支持及 PI0/GR00T N1.5 模型集成,并推出硬件插件系统。
World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。
推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。
Generalist 展示了其模型在单样本组装任务中的能力,能够观察人类构建的小型结构并复制它。该模型实现了从像素输入到每秒 100 次动作输出的端到端控制,无需特定工程或自定义指令。测试仅在四色、三块 2x4 乐高积木的 99,840 种组合上验证了泛化边界,体现了对物理力的精细理解与序列推理能力。
推荐理由:Generalist 展示首个端到端视觉运动控制搭建乐高积木的能力,验证了从像素到高频动作的泛化潜力。