跳到正文
10月1日周四
  1. Hugging Face Daily Papers70

    Omni-Embed-Mini:通过稠密蒸馏实现多模态绑定且不遗忘文本

    论文 Omni-Embed-Mini 提出一种 0.9B 参数模型,能在不更新任何文本侧参数的情况下将文本、语音、音频、图像、视频及富视觉文档映射到共享空间。其核心思路是利用冻结骨干网络对稠密级联标题的嵌入作为教师信号,配合轻量投影器和 LoRA 适配器完成对齐。

9月30日周三
  1. Hugging Face Daily Papers74

    Multimodal Flow:语言与视觉嵌入空间的统一流建模

    论文提出了 Multimodal Flow 模型,采用统一连续架构整合多模态连续表示与共享块因果流骨干网络,通过流匹配学习单一向量场以消除离散量化瓶颈并支持跨模态交互。MF-1 在 150B 预训练令牌下,GenEval/DPG-Bench 平均得分为 82.8,VQAv2/MMBench/POPE 平均得分为 75.3,与大规模数据训练的模型保持竞争力。代码和模型已公开。

9月29日周二
  1. Hugging Face Daily Papers75

    LongTake:一种通过长视界教师强制力提升长时视频生成动态一致性的方法

    针对自回归视频扩散模型在长时段生成中易出现画面静止或质量下降的问题,该研究提出 LongTake 两阶段训练流程。核心创新在于引入基于 curated 真实长视频的“长视界教师强制力(Long-Horizon Teacher Forcing)”,将监督信号从短视频扩展至长序列以维持动态演化。

9月27日周日
9月25日周五
  1. Hugging Face Daily Papers78

    Mara Chain:重思失败为 AI 系统自动进化的垫脚石

    该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。

    推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。

  2. Hugging Face Daily Papers82

    JumpStart:基于 16 万次训练经验加速离线策略学习

    该研究通过 160,000 个策略在 114 个数据集上的大规模实验发现,离线强化学习与模仿学习中不存在单一主导算法,且超参数调优与基准组合显著影响结论。作者开发了数据集条件推荐器以提供任务特定建议,并开源了包含所有训练策略、评分、超参数及代码的 JumpStart 资源库,旨在提升研究可靠性。

    推荐理由:大规模离线策略学习研究显示无单一最优算法,提供数据集条件推荐器与完整资源库。

9月24日周四
  1. NVIDIA Technical Blog12

    NVIDIA 与 SGLang 合作开发 SWE-Serve,揭示本地测试与真实服务间的差距

    SWE-Serve 评估推理服务软件变更时,发现 AI 编码代理生成的补丁虽能通过本地测试,但在服务器加载真实模型处理请求时仍可能失败。该工具基于 SGLang 团队输入,利用源自 53 个任务的基准暴露了完整服务路径中的缺陷,强调仅验证代码逻辑不足以确保生产环境正确性。

9月19日周六
  1. OpenCV Blog28

    OpenCV 增强 Windows on Snapdragon 原生计算机视觉开发支持

    OpenCV 宣布与高通合作,为基于骁龙 X 系列处理器的 Windows 设备优化原生构建、测试基础设施及性能。项目将提供针对该平台的原生二进制文件并解决关键依赖,旨在建立可持续的发布流程。技术更新将通过既定评审过程逐步验证,成果将在里程碑完成时向社区共享。

9月17日周四
  1. NVIDIA Isaac Lab · Releases87

    Isaac Lab 3.0 Early Access 发布:支持多后端与零依赖机器人学习

    NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。

    推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。

9月3日周四
  1. NVIDIA Technical Blog20

    NVIDIA Modern CUDA Toolbox 实战优化:六步提升代码安全、可维护性与性能

    NVIDIA 通过六步渐进式优化演示,展示如何利用 CCCL API 和 Compute Sanitizer 快速定位非法内存访问等错误。教程涵盖使用 NVTX 改进基准测试、调用 CUB 库算法、管理池化容器及异步传输等技术。最终代码在保持安全与可维护性的同时显著提升性能,并附带可在 Google Colab 运行的完整示例代码。

8月26日周三
  1. OpenCV Blog78

    3D-Object Perception Transformer (3PT):统一检测、分割与位姿估计的 RGB-only 多视图 Transformer

    OpenCV Live 播客介绍由 Intrinsic 和夏威夷大学作者提出的 3D-Object Perception Transformer(3PT),该架构将检测、分割和 6DoF 位姿估计统一为两个仅用 RGB 的多视图 Transformer。

    推荐理由:OpenCV Live 播客介绍 3PT 架构及其在 BOP 2025 竞赛中的表现,并分享从基准测试到工业部署的工程经验。

8月6日周四
  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 开放世界模型系列

    NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。

    推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。

8月3日周一
7月21日周二
7月7日周二
  1. NVIDIA Blog · Physical AI82

    NVIDIA 与 Hugging Face 向 LeRobot 开放 Isaac GR00T 1.7 等模型与框架

    NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。

    推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。

  2. Hugging Face Blog · LeRobot82

    LeRobot v0.6.0 发布:引入世界模型策略、奖励模型 API 与新仿真基准

    LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。

    推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。

7月6日周一
6月1日周一
  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 世界基础模型以辅助物理 AI 在行动前进行思考

    NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。

    推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。

4月7日周二
3月9日周一
  1. Hugging Face Blog · LeRobot80

    开源具身智能框架 LeRobot v0.5.0 发布:首发 Unitree G1 人形支持与仿真环境直连 Hub

    LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。

    推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。

2月28日周六
1月22日周四
11月28日周五
11月10日周一
  1. Hugging Face LeRobot · Releases3

    LeRobot 发布 v0.4.1 版本,优化安装指令并修复关键数据瓶颈与策略训练映射逻辑

    LeRobot 仓库更新至 v0.4.1 版本,主要改进包括移除 Libero 安装补丁、提升 Groot 和 Libero 的安装指引及数据集读取速度。此次更新还修正了视频信息键名错误、策略训练映射边界情况以及依赖项升级,旨在优化仿真环境加载与模型训练效率。

10月29日周三
  1. Hugging Face Blog · LeRobot65

    NVIDIA Isaac for Healthcare v0.4 发布手术机器人端到端工作流

    NVIDIA Isaac for Healthcare v0.4 发布端到端手术机器人工作流,提供从仿真数据生成、GR00T N1.5 微调到硬件部署的完整工具链与代码。该流程结合约 70% 的仿真数据和少量真实遥操作数据训练策略,支持在 DGX Spark 单台设备上完成全流程,并开放了键盘遥操作接口与 TensorRT 优化模型转换脚本。

10月24日周五
  1. Hugging Face Blog · LeRobot82

    LeRobot v0.4.0 发布:开源机器人学习大升级

    Hugging Face LeRobot 团队宣布发布 v0.4.0 版本,核心更新包括数据集基础设施重构为 v3.0(支持 OXE 级海量数据流式处理与编辑工具)、集成 LIBERO 和 Meta-World 仿真环境、引入模块化数据处理管道 Processors、简化多 GPU 训练流程。

    推荐理由:LeRobot v0.4.0 发布数据集编辑工具、LIBERO/Meta-World 仿真支持及 PI0/GR00T N1.5 模型集成,并推出硬件插件系统。

  2. Hugging Face LeRobot · Releases18

    LeRobot 发布 v0.4.0 版本,新增 Libero 环境、Streaming Dataset 及 feetech 固件更新文档

    LeRobot 开源项目发布 v0.4.0 版本,核心更新包括引入 Libero 仿真环境、支持 Streaming Dataset 流式数据集以及添加 feetech 固件升级文档。此次发布还修复了 Windows 平台 busy_wait 实现错误,并将部分脚本功能迁移至独立目录以优化代码结构。

9月16日周二
8月7日周四
  1. Hugging Face LeRobot · Releases4

    LeRobot 发布 v0.3.3 版本,新增通用处理器并修复策略构建等缺陷

    Hugging Face LeRobot 项目发布 v0.3.3 版本,核心更新包括引入适用于 LeRobot 的通用处理器(universal processor)及多项代码与文档修复。此次发布修正了策略构建逻辑、更新了安装指南并调整了 PyTorch 包版本上限,同时优化了相关文档链接与作者信息拼写错误。

8月2日周六
  1. Hugging Face LeRobot · Releases11

    LeRobot 发布 v0.3.2 版本,集成扩散策略与多数据集支持

    LeRobot 软件栈 v0.3.2 发布,新增 Pusht、Aloha 及 UMI-gripper 等数据集下载与评估功能。该版本整合了扩散策略(Diffusion Policy)与 ACT 策略模型,并优化了对 Apple Silicon MPS 后端的支持。更新还包含对 CPU 单核兼容性改进、WandB 日志配置调整以及多项训练与推理逻辑的修复。

7月16日周三
7月10日周四
  1. Hugging Face Blog · LeRobot75

    LeRobot 发布异步推理框架以优化机器人策略性能

    LeRobot 发布异步推理框架,将动作预测与执行解耦至独立进程甚至机器运行,解决大模型输出动作块导致的运行时延迟问题。实验显示该方法在保持任务成功率的同时,使 SmolVLA 等策略的任务完成时间缩短约两倍。系统采用 gRPC 通信并支持自定义动作块聚合函数,用户可参考教程配置本地阈值参数以适配不同网络与算力环境。

6月3日周二
  1. Hugging Face Blog · LeRobot82

    SmolVLA:基于 LeRobot 社区数据的紧凑型视觉语言动作模型发布

    Hugging Face 团队发布 SmolVLA-450M,这是一个可在消费级硬件运行的开源视觉语言动作(VLA)模型。该模型仅使用 LeRobot 社区共享的公开数据集进行预训练,在仿真和真实世界任务中表现优于大型专有模型及 ACT 等基线。架构采用流匹配 Transformer 与异步推理栈,支持 CPU 运行或单卡训练,显著降低研究门槛。

    推荐理由:SmolVLA 是首个基于社区数据训练的紧凑型 VLA 模型,在消费级硬件上实现异步推理与高性能。

5月11日周日
  1. Hugging Face Blog · LeRobot52

    LeRobot 社区数据集:构建机器人界的 ImageNet

    LeRobot 社区数据集项目正式推出,目标是建立类似 ImageNet 的多样化机器人基准数据。材料指出当前机器人数据存在任务标注缺失、特征映射不一致及低质量片段等挑战,并发布了包含图像采集、元数据记录、命名规范及任务描述的具体清单与工具入口,鼓励社区上传高质量数据以训练通用策略模型。

3月11日周二
  1. Hugging Face Blog · LeRobot87

    LeRobot 推出全球最大开源自动驾驶数据集 L2D

    Hugging Face 与 Yaak 合作发布 Learning to Drive (L2D),这是全球最大的开源自动驾驶数据集,包含德国 30 个城市、60 辆电动车在 3 年内采集的 5000+ 小时多模态数据(90+ TB)。

    推荐理由:Yaak 与 LeRobot 合作推出全球最大开源自动驾驶数据集 L2D,包含德国 30 城 5000+ 小时多模态数据及专家/学员双策略。

6月26日周三