英伟达发布GR00T 2世界动作模型系列,支持跨本体迁移与端侧部署
英伟达在CoRL 2026会议推出开源世界—动作模型GR00T 2系列,包含主打泛化能力的GR00T 2和强调速度的Turbo版本。该模型基于40万小时人类视频训练,支持跨本体迁移、少样本适应及视觉引导规划,在多项灵巧操作与长程任务中取得高成功率。英伟达宣布将全栈开源模型权重、仿真流程SimFoundry、智能体框架ASPIRE及相关硬件设计图纸,旨在降低机器人开发门槛并推动技术落地。
英伟达在CoRL 2026会议推出开源世界—动作模型GR00T 2系列,包含主打泛化能力的GR00T 2和强调速度的Turbo版本。该模型基于40万小时人类视频训练,支持跨本体迁移、少样本适应及视觉引导规划,在多项灵巧操作与长程任务中取得高成功率。英伟达宣布将全栈开源模型权重、仿真流程SimFoundry、智能体框架ASPIRE及相关硬件设计图纸,旨在降低机器人开发门槛并推动技术落地。
NVIDIA 宣布推出两个处于公开预览阶段的开源项目:NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR),用于构建和管理基于 GPU 基础设施的托管 Kubernetes 服务。
NVIDIA DSX AI Factory Platform 新增开源组件 NVIDIA Snapshot,让初始化后的 GPU 推理任务在副本间复用。该功能解决冷启动耗时分钟级的痛点,使突发需求或副本故障时可用 GPU 即刻转化为服务容量。
NVIDIA 将专为 AI 智能体设计的 Agent Substrate 捐赠给开源社区,解决传统 Kubernetes 因单会话 Pod 导致的内存浪费及跨轮次冷启动延迟问题。该方案通过保留非活跃会话状态并消除 RL 后训练中的调度瓶颈,显著降低智能体等待提示或工具响应时的资源开销与重启耗时。
Google DeepMind 发布 SatWeave 和 PARDIG 两个基础数据集,前者整合五颗静止卫星图像提供全球每小时更新的云雨视图,后者基于 AI 生成高精度降水图。这两个数据集是 WeatherNext 3 模型的关键支撑,现已在 Google Cloud Storage 公开开放历史档案与实时流数据,供研究人员用于气象、洪水及干旱预测等下游应用。
论文介绍 InfraRSI,这是一个将开放指令转化为验证过的训练优化的代理框架。它通过五阶段工作流初始化锁定可编辑范围、校准集群噪声并协同优化启动参数与代码补丁。
蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch 及其轻量版 Tiny,旨在解决原始触觉信号导致动作模型性能下降的问题。该模型将磁、视、压阻三类传感器数据统一编码为触觉 Token,支持跨硬件与传感器布局的泛化。
推荐理由:蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch,通过统一编码解决多传感器数据异构难题,显著提升机器人精细操作成功率。
openJiuwen推出TTSE(Two-Track Self-Evolution)框架,借鉴认知科学将Agent经验分为FACT环境事实与TIP条件式技巧双轨。
蚂蚁灵波科技于11月10日开源触觉基础模型LingBot-Touch,基于近5000小时真实数据预训练,覆盖磁、视、压阻三类传感原理并将信号转化为统一触觉表征。
同一新闻,精选展示《蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch》
JND-Guided Light-Weight Neural Pre-Filter 提出 FJNDF-Pytorch 基准与轻量化 CNN,在 ISCAS2027 投稿中实现 SOTA 压缩效率且仅用 7.15 GFLOPs 处理 1080p 图像。该方法计算成本仅为近期轻量级网络的 14.1%,在多数据集和编码器上持续优于竞品。开源代码与复现平台已提供,论文提交至 ISCAS2027。
该研究提出 AgenticRobotics 架构,利用大语言模型控制器驱动一次性工作流来管理机器人策略的训练与改进过程。系统核心在于将机器人策略和硬件视为需质量度量、记录及版本失效管理的工具,以应对训练管道和数据收集的频繁失败。实验显示,在单一线程上,该机制实现了极低的人工误晋升率(0.001),具备任意时刻停止下的有效决策能力,并能通过签名验证器检测所有类型的工件篡改行为。
RedPhys 是一个针对物理世界模型(PhyModels)和智能体(PhyAgents)的可扩展红队测试平台,旨在发现具有物理基础的函数故障。该平台集成了12种红队方法、3种模型无关防御机制以及13个涵盖七个物理领域的模型,在黑色盒威胁模型下进行评估。
RoverDevKit 是专为月球微型漫游车概念设计打造的开源工具包,其评估器耦合了轮土模型与质量、太阳能及热生存等底层模型。该工具能在单核笔记本上于 1 分钟内完成 3000 次任务评估,用于绘制距离、质量与坡度能力的权衡曲线。在 mare 和 polar 等任务中,能量存储或坡面牵引力成为主要限制因素,且轮土模型复现了独立数据集的实测数据。
论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。
推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。
针对视觉几何 Transformer 因全局注意力机制导致的计算成本随序列长度平方增长问题,本文提出 Good Token Hunting 策略。该方法通过两阶段框架进行 Token 选择:首先在帧间层面基于多样性保留关键帧以确保场景覆盖,随后在帧内层面利用全局注意力模式的熵引导分层稀疏化以剔除冗余 Token。
针对第一人称视角下的 3D 双手姿态估计与手势识别难题,该工作提出 EgoEV-HandPose 端到端框架及首个大规模真实世界立体事件数据集 EgoEVHands。
针对视觉语言动作模型缺乏带标注动作数据的问题,该研究提出 ALAM 模型,从无动作视频中提取物理世界变化先验。通过帧三元组学习受重建约束且符合组合与可逆一致性的潜在转换,构建局部加性转换空间。
推荐理由:该工作提出代数一致潜在动作模型,利用无标签视频构建结构化先验,显著提升 VLA 策略在仿真及真实任务中的成功率。
RSLCPP 通过新方法利用 ROS 2 节点创建确定性仿真,无需修改源代码即可在各类 CPU 和架构上获得一致结果。该方法解决了异步多进程设计导致的不可复现问题,适用于科学基准测试与持续集成场景。项目已开源,支持合成基准及真实机器人系统验证。
该研究提出 IKOD(Image-Attention-Guided Key-Value Merging against Object Hallucination in the Decoding),这是一种无需训练的协作解码器,直接压缩生成过程中的竞争文本上下文以抑制物体幻觉。
针对原始点云圆提取任务,Circle-Net 提出端到端代数拟合网络以兼顾噪声鲁棒性与精度。该研究因作者署名及贡献归属未获全体书面确认而于 2026 年 11 月 9 日撤回,代码与数据暂不开放。
针对现有大语言模型在主动发起对话时缺乏情境感知的问题,本文提出了一套联合表征感知、情境和交互线索的情境变量架构,并构建了覆盖多样化日常场景的主动式对话开启语料数据集(CCO)。通过利用该数据集微调小语言模型(SLMs),研究展示了显式的情境结构化与针对性数据策展能显著提升对话发起的质量与时机恰当性。
推荐理由:提出情境变量架构与专用数据集,微调小模型显著改善主动对话发起的质量与时机。
论文 SWAM 针对世界动作模型(WAM)中动作学习可能损害语言 - 视频对齐的问题,系统研究了监督设计与架构影响。研究混合使用第一人称视频与 UMI 演示数据,在固定预算下提升了控制泛化能力。
该论文针对 VLA 模型需为每个下游任务和机器人微调的问题,以 SO-101 机械臂移动国际象棋国王为例进行研究。研究发现,利用随机脚本专家生成的仿真演示进行预训练能显著降低对真实数据的依赖;同时指出学习率冷却对检查点比较至关重要,而验证损失和行动误差不可靠。作者开源了仿真器、专家策略及真实演示数据。
ExoStack 是一个模块化 ROS 2 框架,通过 ESA 库配置 ESP32 板作为微 ROS 传感与执行枢纽。ExoCore 节点提供多枢纽同步、步态事件检测及人机闭环优化等核心功能,支持算法插件扩展而无需修改通用处理节点。该框架已在三种嵌入式计算机上完成时序表征,并成功复用于两套气动外骨骼系统。
该论文提出 VLA Multi-teacher On-Policy Distillation (VLA-MOPD) 协议,旨在解决多任务视觉语言动作模型(VLA)的聚合难题。
该研究探讨了利用大语言模型(LLM)直接生成神经网络权重以替代传统训练数据的可能性。作者使用 Claude Opus 5.5 和 GPT-6 Astra 在无需访问任何图像的情况下,生成了用于七项医疗任务的 LeNet 风格 CNN 参数。
论文提出 CSG-Nav 框架,通过整合开放词汇检测、深度定位与多视图证据加权,解决长程感知不可靠及幻觉偏差问题。在 HM3Dv1/v2 和 MP3D 数据集上实现零样本导航成功率分别为 58.9%、71.6% 和 44.3%,并在室内外真实环境完成部署验证。代码已开源。
推荐理由:提出基于置信度的语义几何融合框架,在 HM3D 等数据集实现零样本导航新 SOTA,代码已开源。
论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。
推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。
针对现有评估仅关注最终结果而忽略证据归因、信念更新及矛盾处理的问题,本文提出 CREG 基准以衡量多机器人系统的共享推理轨迹。该基准包含 350 个确定性生成的场景,覆盖七种规范后验参考情境,并引入独立对数几率检查器与盲审机制。
MICE(Multi-animal Interaction Context Encoder)是一款针对小鼠行为的分层基础模型,能联合预训练处理 1 至 4 只小鼠及 7 到 27 个关键点的数据。该模型通过层级个体编码器和 Perceiver 风格社交编码器,实现单检查点适配任意群体规模且无需重训。在涵盖六个数据集的四项评估协议中,MICE 匹配或超越现有基于关键点的基线,代码、权重与数据已开源。
论文提出 FastGRT,通过解耦光路遍历与混合及重用前向计算,将基于高斯的光线追踪训练速度提升 1.9 至 4.97 倍。该方法在 Vulkan 中实现并开源,是首个支持训练和渲染的 Vulkan 版 GRT 实现,同时保留了原有的渲染公式。
针对现有学习法在动态人体重光照中光影响应不精确的问题,本文提出 DynOLAT 框架。该方法从平光输入预测时序一致的 One-Light-At-a-Time (OLAT) 基视频,再根据目标环境图线性组合以显式控制方向与强度。
论文介绍 PLS-GS 方法,该方法针对同时拥有相机和高清 LiDAR 数据的机器人及建图应用,构建概率激光雷达骨架以引导高斯泼溅。通过联合拟合位置与颜色的分层高斯混合模型,消除对体素网格或八叉树的离散场景划分需求,并将渲染高斯约束在局部表面框架内。
论文 RigidGS 针对 3D 高斯泼溅(3DGS)在交互式 VR/MR 应用中存在的掩码噪声与标签几何耦合问题,提出一种端到端管线。该方法通过深度与时序感知的掩码细化模块解决 SAM2 的过包含与欠包含缺陷,并利用 COLMAP 投影投票在上游确定物体身份并在训练中冻结,将监督仅导向几何优化。
推荐理由:该工作提出固定身份与几何解耦设计,解决现有方法在复杂几何下的掩码噪声与标签耦合问题。
论文介绍 UniLatent 框架,旨在解决机器人数据集因几何、外观和运动学差异难以复用的问题。该方法在仿真中渲染成对的源目标机器人观测,将源视觉编码器对齐到冻结的目标编码器,使基于编码源演示训练的策路能直接在目标观测上运行,无需像素级图像翻译。
该研究发布了由机械臂驱动柔性条带、含四台 iPhone 拍摄及相机位姿的四视角视频数据集,并基于此构建了首个 3D LaGSplat 基线。LaGSplat 以抓具加速度为强制项拟合解码器,在未见视图上渲染出 26 至 33 dB PSNR 的画质,且支持浏览器实时交互演示。相关数据集、检查点及训练代码均已公开。
论文针对可微模型预测控制(MPC)训练中非光滑敏感性和昂贵评估两大瓶颈,提出 SmoothedTurboMPC 求解器与 Short-Horizon Actor-Critic(SHAC)算法。
Autoware 2.1.0 将 CUDA 基础包移至 autoware_cuda 仓库,发布 core-devel-cuda 等三层新镜像以支持 ROS 2 Humble/Jazzy。该版本在 Ubuntu 24.04 下通过 Python venv 解决 rosdep pip keys 安装失败问题,并新增 carla Ansible 角色以部署 CARLA 1.0 或夜间构建版。
NVIDIA 在 CoRL 大会上发布了更新后的开放世界动作模型 GR00T 2 和开源机器人学习框架 Isaac Lab 3.0。GR00T 2 基于 10 万小时数据训练,在无特定演示情况下完成 50 项评估任务中的 40 项,支持少样本泛化与灵巧操作技能迁移;在 RoboCasa365 等基准测试中位列前三。
NVIDIA 在 CoRL 大会上推出 GR00T 2 开放世界动作模型,支持灵巧操作技能迁移与少样本泛化;同时发布 Isaac Lab 3.0 框架集成 Newton 物理引擎以模拟变形物体。材料介绍了多项新基准、数据工作流及智能体编程工具,旨在提升机器人从实验室演示到工业部署的精度与自主性。
推荐理由:NVIDIA 在 CoRL 大会上推出 GR00T 2 世界动作模型及 Isaac Lab 3.0,提供传感器与变形物体的高保真仿真工具链。