ROSCon Global 2026 在多伦多举办,发布 Intrinsic Core、NVIDIA Isaac ROS 5.0 及 OpenRobObs 等开源成果
ROSCon Global 2026 于多伦多举办,吸引来自 40+ 国家的 1000+ 参会者,见证 Cognex 收购 RealSense 与 Qualcomm 收购 PickNik 等行业动态。
ROSCon Global 2026 于多伦多举办,吸引来自 40+ 国家的 1000+ 参会者,见证 Cognex 收购 RealSense 与 Qualcomm 收购 PickNik 等行业动态。
NVIDIA 开源了基于代码智能体设计的 TensorRT Model Connect,该集合提供 C++ 实现的 AI 模型参考方案。项目通过并行工作、模型族隔离及 GPU 验证等机制构建,旨在让 NVIDIA 推理栈性能更易获取。
NVIDIA Open Agent Safety Platform 为持续硅内智能体监控提供参考架构,旨在应对智能体 AI 带来的风险。该平台借鉴互联网兴起时的机遇与风险并存的历史经验,聚焦于理解当前代理型人工智能的发展现状与安全挑战。
SWE-Serve 评估推理服务软件变更时,发现 AI 编码代理生成的补丁虽能通过本地测试,但在服务器加载真实模型处理请求时仍可能失败。该工具基于 SGLang 团队输入,利用源自 53 个任务的基准暴露了完整服务路径中的缺陷,强调仅验证代码逻辑不足以确保生产环境正确性。
NVIDIA Topograph 通过感知 GPU 拓扑结构进行工作负载放置,避免跨共享链路传输导致吞吐量下降和成本上升。该技术防止 GPU 因等待数据而空转消耗供电,确保在功率受限的 AI 工厂中实现价值最大化。
NVIDIA DLSS 5 推出 3D-Guided Neural Rendering 及细粒度控制,助游戏开发者在保留艺术意图的同时添加逼真光照与材质细节。文章还涵盖 NVIDIA ACE、RTX Mega Geometry 2.0 及 RTX Kit 在角色 AI、高密度几何与渲染工作流方面的更新。
NVIDIA 在多伦多 ROSCon 会议上正式发布 Isaac ROS 5.0,这是一个基于 ROS 的 GPU 加速开源机器人开发框架。
推荐理由:NVIDIA Isaac ROS 5.0 发布支持 AI Agent 的机器人开发工具链,提供感知、操作与仿真闭环能力。
NVIDIA Isaac ROS 通过引入 AI Agent 和上游抽象层,利用 CUDA 后端优化消息传输,避免感知与 AI 负载在 CPU 内存中序列化或复制。该方案旨在解决仅靠快速 CUDA 内核无法保证高效 ROS 2 图的问题,确保 GPU 加速收益不被节点间通信损耗侵蚀。
部署 AI Agent 的关键在于验证其能否在真实环境中执行数十次连续工具调用并在步骤失败时恢复,而非仅判断模型回答是否合理。该评测范式推动评估重点从单一函数调用转向完整任务流程的闭环验证。
OpenCV 宣布与高通合作,为基于骁龙 X 系列处理器的 Windows 设备优化原生构建、测试基础设施及性能。项目将提供针对该平台的原生二进制文件并解决关键依赖,旨在建立可持续的发布流程。技术更新将通过既定评审过程逐步验证,成果将在里程碑完成时向社区共享。
NVIDIA 展示利用 Agentic AI 工作流检查 Blender 三维场景、在 OpenUSD 中生成仿真数据并添加物理属性,最终输出符合 SimReady 要求的数字孪生。该流程实现了从原始场景到仿真就绪交付物的自动化验证,支持物理 AI 系统的开发管线。
NVIDIA FLARE 解决联邦学习项目从单机扩展到共享基础设施时的资源调度难题,支持在 Docker、Kubernetes 和 Slurm 环境中动态分配 GPU。该方案确保多研究任务隔离,同时让各参与组织保留对本地数据与模型的控制权,适用于跨机构协作场景。
Skild AI 发布 S1 机器人基础模型,利用上下文学习技术从单个视频演示中理解并执行此前未见的新任务,无需更新权重或进行特定后训练。该模型在植物种植等长程多步操作中成功率提升七倍,仅需 11 分钟即可从录制演示过渡到硬件自主执行。
推荐理由:Skild AI 推出 S1 机器人基础模型,支持单视频演示学习新任务,无需重新训练即可执行长达 10 分钟的复杂操作。
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA CUDA Toolkit 13.4 发布,首次将 Windows on Arm 平台纳入支持范围,此前该架构仅通过 Linux 运行 CUDA 应用。此次更新还提升了对共享 GPU 资源的控制能力,帮助开发者在更广泛的硬件生态中充分利用 NVIDIA GPU 性能与软件栈功能。
2026 年 9 月,NVIDIA 宣布将深入原生 GPU Rust 编程,计划到 2027 年及以后成熟 CUDA Rust。CUDA C++ 和 CUDA Python 已是成熟的商业级工具链,而 AI 系统层正随模型与技术的演变持续变化。
Frontier Reasoning 推理与智能体 AI 在边缘端部署曾受限于大模型无法本地运行,需依赖数据中心导致高成本与数据外泄。该现状正在改变,NVIDIA 提供在 Jetson 硬件上部署并优化模型的方案以解决上述约束。
Figure 与 Nscale 宣布达成战略合作,计划于 2027 年下半年在德克萨斯州 Barstow 部署基于 NVIDIA Vera Rubin 平台的最高达 10 万块 GPU。
推荐理由:双方达成战略合作以部署大规模算力,旨在解决训练 Helix 模型所需的数据与计算瓶颈。
NVIDIA 通过六步渐进式优化演示,展示如何利用 CCCL API 和 Compute Sanitizer 快速定位非法内存访问等错误。教程涵盖使用 NVTX 改进基准测试、调用 CUB 库算法、管理池化容器及异步传输等技术。最终代码在保持安全与可维护性的同时显著提升性能,并附带可在 Google Colab 运行的完整示例代码。
NVIDIA Omniverse NuRec 解决同一感知软件移植至不同车线时因传感器布局、标定及车身几何差异导致的感知变化问题。该技术通过统一处理视野遮挡与时序覆盖等变量,确保交通灯等目标在不同车辆平台上的检测一致性。
NVIDIA Technical Blog 发布指南,详述如何利用 AI Agents 训练支持连续定位、环境解读及避障的跨具身机器人导航策略。该方法旨在解决将感知与运动能力迁移至新机器人与场景时所需的新数据及仿真资产挑战,为构建通用自主导航提供技术路径。
随着 AI 智能体能力增强且运行周期延长,英伟达联合 OpenShell 及生态伙伴提出将安全信任融入应用架构。英伟达安全团队解析了新兴智能体栈各层级的角色与安全职责。该观点源自 NVIDIA Technical Blog 关于构建可信智能体应用的最新技术讨论。
针对视觉语言模型(VLM)适配数据分散于各机构无法集中的问题,NVIDIA 提出利用联邦学习协调跨站点训练。该方案旨在解决原始记录难以汇聚的挑战,支持在保持数据本地化的前提下构建多模态 AI 工作流。
NVIDIA SkillEvaluator 通过量化指令、示例及工具引导等上下文,解决智能体在寻找工具或处理专项任务时的低效问题。该方案旨在衡量技能包如何帮助 AI Agent 从意图到解决方案的移动速度,提升整体执行效能。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
NVIDIA Nemotron 3.5 Lightning 是一款开源的 30B MoE 模型,拥有 3B 活跃参数,专为长运行 AI 智能体的高频工具调用与结果验证等执行层设计。该模型旨在解决在每一步执行都使用前沿推理模型所带来的高成本与延迟问题,通过轻量化架构提升持续运行智能体的效率。
NVIDIA NeMo Switchyard 允许构建的 AI Agent 根据任务需求在单一模型间动态切换,以匹配分类、推理等不同步骤的能力与成本特征。该技术解决了不同工作负载甚至同一任务内对模型性能要求变化的问题,避免将所有请求发送至最大模型造成的资源浪费。
NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。
推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。
针对机器人策略难以泛化的挑战,NVIDIA 提出超越视觉语言动作模型(VLA)的世界动作模型架构。该模型要求策略理解任务背后的物理规律而非单纯模仿演示,以应对物体形状、位置或光照变化等条件改变。此研究旨在解决训练场景外泛化难题,为具身智能提供新的技术路径。
NVIDIA Alpamayo 2 Super 作为 Alpamayo 家族最新成员,基于 Cosmos 3 Super Reasoner 并通过强化学习后训练,现已通过 OpenMDW‑1.1 许可面向商业使用。
推荐理由:NVIDIA Alpamayo 2 Super 以 OpenMDW‑1.1 许可面向商业部署,在多任务推理与仿真闭环工作流中提供前沿级能力。
NVIDIA 发布了开源的 340 亿参数推理视觉模型 Alpamayo 2 Super。该模型旨在解决自动驾驶开发中轨迹生成、高层意图预测、场景理解及数据标注依赖独立模型导致难以对比输出和复用表征的问题,提供统一的推理能力以支持相关工作流。
推荐理由:NVIDIA Alpamayo 2 Super 作为开源推理视觉模型,旨在统一轨迹生成、意图预测与数据标注任务,解决传统开发流程中多模型割裂导致的行为难以对比与复用的问题。
随着智能体与长上下文任务普及,注意力机制成为推理耗时主导因素。NVIDIA 主张围绕 GPU 执行特性重塑模型架构,通过 AI 模型协同设计优化注意力效率。该策略旨在解决长序列下注意力成本占比过高的问题,提升推理性能。
NVIDIA 推出 ModelExpress 技术,旨在以光速速度分发日益庞大的模型工件。该技术针对数百 GB 至 TB 级的检查点文件,优化了集群内冷启动、自动扩缩及 RL 后训练等场景下的权重移动效率。此举显著降低了因频繁搬运大体积模型权重而产生的高昂存储与传输成本。
NVIDIA OptiX Toolkit(OTK)提供针对 GPU 光线追踪应用的调试设施,可诊断无效 API 参数、黑屏及并发线程下的隐藏错误。该工具作为 GitHub 开源仓库,旨在帮助开发者解决难以定位的底层 Bug 以提升性能。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
NVIDIA Rubin GPU 架构旨在驱动持续运行的 AI 工厂,支持具备推理、规划及工具使用能力的智能体工作流。该架构不再局限于单一提示词或离散模型训练,而是致力于在广阔上下文中执行复杂的跨步骤任务。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。
NVIDIA Isaac Lab 3.0.0-beta2.patch1 作为小版本补丁发布,主要更新以支持 Isaac Sim 6.0.1。此次更新包含针对 NuRec 工作流的修复与改进,并优化了依赖项和 Docker 镜像兼容性。
NVIDIA Isaac Lab 发布 v3.0.0-beta2 版本,重点稳定了 PhysX、Newton 及 OVPhysX 等多后端架构,增强了 Newton 物理与 Kit-less 工作流支持。
推荐理由:Isaac Lab 3.0 Beta 2 稳定了多后端架构与 Newton 物理支持,简化训练命令并修复多项运行时问题。
NVIDIA Hyperion 平台推出 Halos OS,作为其全栈安全系统的核心组件,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。
推荐理由:NVIDIA Hyperion 平台推出 Halos OS,提供符合 ISO 26262 ASIL D 的认证内核、标准化接口及 AI 护栏,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。