跳到正文

内容形态

开源与工程 最新动态

可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。

356 条精选近 30 天 209 条共收录 1,471 条

更新

精选归档 · 第 10 页

10月21日周三第 181–200 条
  1. 智东西 · 机器人84

    英伟达开源Flora数据引擎,低成本转化海量机器人视频为训练信号

    英伟达发布并开源了面向机器人数据集的数据引擎Flora,该系统由动作描述、时间分段和奖励三个模型组成,可将原始机器人视频转化为带时间戳的动作描述及过程/结果奖励。Flora基于Qwen3.5微调,在WGO-Bench等基准测试中表现优异,标注成本约为GPT-6 Astra的1/125(每小时0.72美元对比88.49美元),目前已用于训练GR00T系列模型。

    推荐理由:英伟达开源Flora数据引擎,将机器人视频转化为高质量训练信号,成本仅为GPT-6 Astra的1/125。

  2. 智东西 · 机器人78

    英伟达开源手术世界模型Cosmos3-H-Dreams,单卡可跑

    英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。

    推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。

  3. NVIDIA Blog · Physical AI75

    NVIDIA 发布 Nemotron 3.5 及 Kumo Cosmos 等开源模型系列

    NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。

    推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。

  4. arXiv · 机器人与计算机视觉82

    基于赤字驱动的分层采集构建 STRATA-S12:一个用于自监督学习的开源 SAR-光学语料库

    该研究针对合成孔径雷达与光学卫星数据配准中存在的地理缺失问题,提出了一种名为 DDSA 的算法,通过分层配额控制、严格时间配对及人机协同修复机制来优化数据采集。实测显示,该算法在部分预算下即可覆盖所有分层,且修复循环提供了近四成的有效样本对。作者公开了 STRATA-S12 语料库及其元数据侧车,预注册线性探针检查证实其适用于自监督预训练任务。

    推荐理由:作者提出一种分层采集算法以解决多模态遥感数据的地理缺失问题,并公开了包含修复机制的自监督预训练语料库。

  5. arXiv · 机器人与计算机视觉78

    $S^3$: 谱域零空间交换让推理模型更高效

    论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。

    推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。

  6. arXiv · 机器人与计算机视觉78

    HERMES++:面向三维场景理解与生成的统一自动驾驶世界模型

    针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。

    推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。

  7. arXiv · 机器人与计算机视觉82

    Kamino:一种支持运动学闭环的高性能 GPU 物理仿真求解器

    论文介绍了 Kamino,这是一个基于 NVIDIA Warp 和 Newton 框架实现的 GPU 物理求解器,旨在解决复杂机械系统中强耦合的运动学与动力学约束问题。

    推荐理由:该工作提出基于 GPU 的刚性多体物理求解器 Kamino,原生支持运动学闭环与异构机器人批量仿真,为强化学习策略训练提供了高保真环境。

  8. arXiv · 机器人与计算机视觉78

    GALA:一种用于可控物体布置的几何感知语言模型

    针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。

    推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。

  9. arXiv · 机器人与计算机视觉85

    AgenticRoboRL:将代码智能体后训练引入具身机器人规划

    AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。

    推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。

  10. arXiv · 机器人与计算机视觉83

    Can a Display Be Used for Rapid LiDAR-Camera Extrinsic Calibration?

    ScreenCalib 方法利用普通可编程显示屏上的 AprilTag 标记和屏幕物理边界,实现激光雷达与相机的外参标定。该方法通过标签引导提取、几何假设生成及场景边缘消歧义解决显示几何带来的关联模糊问题。

    推荐理由:提出用普通显示屏替代专用标定板进行激光雷达与相机外参校准,通过多姿态共识降低误差。

  11. arXiv · 机器人与计算机视觉78

    RACE:一种基于参照抽象与组合证据的多模态搜索学习框架

    针对多模态搜索代理训练中视觉线索被文本捷径弱化的问题,本文提出 RACE 框架,利用图像构建从目标到答案的任务依赖。该框架通过参照抽象(RA)将身份揭示性文本替换为视觉或关系引用,并通过组合证据(CE)将多实体事实链接为需要综合所有贡献才能回答的问题。

    推荐理由:提出 RACE 框架,通过图像条件任务合成提升多模态搜索代理的视觉 grounding 能力。

  12. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。

  13. arXiv · 机器人与计算机视觉78

    LoRASpace:一种用于静态与动态多 LoRA 组合的池级共享基底

    论文提出 LoRASpace,这是一种免训练方法,利用奇异值分解找到保留 99% 因子能量的最小子空间。该方法支持两种推理模式:静态合并模式(以合并成本换取质量)和动态路由模式(根据输入选择)。在扩散模型池中,动态模式比复合推理快 6 倍以上,因为只需运行一次主干网络前向传播。代码已开源。

    推荐理由:提出免训练方法 LoRASpace,通过池级共享子空间实现多 LoRA 静态合并或动态路由,在扩散模型池中显著降低推理延迟。

  14. 量子位82

    RSI 关键拼图:MemT 1.0 原生记忆模型发布

    量子位报道了 MemTensor 开源的 MemT 1.0 系列模型(Nano 与 Flash),该模型将经验编码为内部动态状态,通过专门的记忆分支参与计算。在 SWE-bench Verified 任务中,MemT-1.0-Nano 平均成功率为 69.73%,优于无经验基线;在迷宫探索和信息更新场景中展现了更好的长期记忆复用能力。

    推荐理由:MemT 1.0 系列将记忆编码为内部动态状态,在 SWE-bench 等基准上表现接近文本经验且推理成本更低。

  15. Hugging Face Daily Papers78

    Foundation4D:面向自动驾驶的统一感知与重建模型

    NVIDIA 团队在 arXiv 发布 Foundation4D,这是一个统一的前馈模型,用于从多摄像头驾驶视频中估计几何、进行 3D 检测、生成语义占用和 Gaussian 重建。

    推荐理由:该预印本提出统一几何估计与重建模型,并开源基准数据集,为无激光雷达场景提供深度与语义占用先验。

10月20日周二
  1. arXiv · 机器人与计算机视觉82

    UniW(A)M:一种用于世界与世界 - 动作模型的统一混合专家框架

    论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。

    推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。

  2. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  3. arXiv · 机器人与计算机视觉78

    Any 3D Scene is Worth 1K Tokens:基于3D接地表示的大规模场景生成

    该论文提出在由强大2D基础模型(如DINOv2、SigLIP2等)导出的高维隐式3D潜空间内直接进行场景生成,以解决传统2D多视图方法存在的表征冗余和空间一致性受限问题。

    推荐理由:原文提出在基于2D基础模型的3D隐式潜空间直接进行场景生成,实验验证了该方法在效率与空间一致性上的优势。

  4. arXiv · 机器人与计算机视觉78

    并非所有特征都同等重要:VLA 模型的机理研究与 Action Atlas 平台发布

    该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

    推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

  5. arXiv · 机器人与计算机视觉84

    PICA-WAM:通过跨外观自对齐实现视觉扰动不变性的世界动作模型研究

    论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。

    推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。