在 NVIDIA Jetson AGX Orin 上使用 cuDLA 运行原生 Python 推理
NVIDIA Deep Learning Accelerator (DLA) 平台通过专用硬件加速边缘端深度学习推理,将计算负载从 GPU 卸载以提升能效。该技术已在 NVIDIA Jetson AGX Orin 上实现原生 DLA 推理支持,允许开发者在 Python 环境中直接调用 cuDLA 库运行多神经网络应用。
NVIDIA Deep Learning Accelerator (DLA) 平台通过专用硬件加速边缘端深度学习推理,将计算负载从 GPU 卸载以提升能效。该技术已在 NVIDIA Jetson AGX Orin 上实现原生 DLA 推理支持,允许开发者在 Python 环境中直接调用 cuDLA 库运行多神经网络应用。
NVIDIA DSX AI Factory Platform 新增开源组件 NVIDIA Snapshot,让初始化后的 GPU 推理任务在副本间复用。该功能解决冷启动耗时分钟级的痛点,使突发需求或副本故障时可用 GPU 即刻转化为服务容量。
在 AI 工厂中,高带宽内存(HBM)是速度最快但成本最高的存储层级。NVIDIA 指出,冗余权重拷贝、空闲会话的 KV 缓存或重新计算的前缀均浪费字节资源。核心问题已从 GPU 拥有多少内存转变为每字节能产生多少有效工作产出。
随着 AI 模型计算量每五个月翻倍且训练数据集每八个月翻倍,高效移动存储数据成为关键。NVIDIA 提供基于 Python 的解决方案,利用 GPUDirect Storage 技术直接将数据从存储设备加载至 GPU 显存。该方法旨在解决日益增长的加速器算力与海量数据处理之间的带宽瓶颈问题。
NVIDIA 团队在 arXiv 发布 Foundation4D,这是一个统一的前馈模型,用于从多摄像头驾驶视频中估计几何、进行 3D 检测、生成语义占用和 Gaussian 重建。
推荐理由:该预印本提出统一几何估计与重建模型,并开源基准数据集,为无激光雷达场景提供深度与语义占用先验。
NVIDIA CUDA Tile (cuTile) 作为基于 Python 的 DSL,利用高级硬件能力自动优化 tile 级 GPU 编程以交付峰值性能。该模型通过抽象线程和 warp 级调度,使开发者能用 Python 编写 GPU 内核并享受编译器自动优化带来的加速效果。
Google DeepMind 正式发布 Gemini 4 Argon 模型,该模型在具身推理基准 ERQA 中以 87% 的分数领先其他前沿模型,并展示了通过观看人类操作视频自主构建仿真代码、进而将技能迁移至人形机器人(Apptronik Apollo)实现连续投掷的技能。
推荐理由:DeepMind 发布 Gemini 4 Argon,在具身推理基准 ERQA 以 87% 分数领先,并展示通过观看视频自主构建仿真代码并在人形机器人上实现技能迁移的能力。
NVIDIA 指出在数千 GPU 上训练万亿参数模型时,多并行维度、低精度计算及分布式检查点使故障复现复杂。引入比特级确定性可显著降低大规模预训练的调试难度并支持可靠验证与恢复。该技术通过 Megatron Core 解决分布式训练中失败复现困难的问题。
NVIDIA 推出 DOCA GPUNetIO,旨在让 GPU 应用的网络与数据传输行为如同由 GPU 直接控制的操作,而非依赖主机驱动服务。该技术通过消除 CPU 在网络事务中间的瓶颈,降低延迟并提升分布式应用的实时响应效率。此方案统一了 NVIDIA 软件栈中的 GPU 发起式网络架构,解决关键路径上的性能限制问题。
NVIDIA 开源了基于代码智能体设计的 TensorRT Model Connect,该集合提供 C++ 实现的 AI 模型参考方案。项目通过并行工作、模型族隔离及 GPU 验证等机制构建,旨在让 NVIDIA 推理栈性能更易获取。
SWE-Serve 评估推理服务软件变更时,发现 AI 编码代理生成的补丁虽能通过本地测试,但在服务器加载真实模型处理请求时仍可能失败。该工具基于 SGLang 团队输入,利用源自 53 个任务的基准暴露了完整服务路径中的缺陷,强调仅验证代码逻辑不足以确保生产环境正确性。
NVIDIA DLSS 5 推出 3D-Guided Neural Rendering 及细粒度控制,助游戏开发者在保留艺术意图的同时添加逼真光照与材质细节。文章还涵盖 NVIDIA ACE、RTX Mega Geometry 2.0 及 RTX Kit 在角色 AI、高密度几何与渲染工作流方面的更新。
OpenCV 宣布与高通合作,为基于骁龙 X 系列处理器的 Windows 设备优化原生构建、测试基础设施及性能。项目将提供针对该平台的原生二进制文件并解决关键依赖,旨在建立可持续的发布流程。技术更新将通过既定评审过程逐步验证,成果将在里程碑完成时向社区共享。
NVIDIA FLARE 解决联邦学习项目从单机扩展到共享基础设施时的资源调度难题,支持在 Docker、Kubernetes 和 Slurm 环境中动态分配 GPU。该方案确保多研究任务隔离,同时让各参与组织保留对本地数据与模型的控制权,适用于跨机构协作场景。
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA CUDA Toolkit 13.4 发布,首次将 Windows on Arm 平台纳入支持范围,此前该架构仅通过 Linux 运行 CUDA 应用。此次更新还提升了对共享 GPU 资源的控制能力,帮助开发者在更广泛的硬件生态中充分利用 NVIDIA GPU 性能与软件栈功能。
2026 年 9 月,NVIDIA 宣布将深入原生 GPU Rust 编程,计划到 2027 年及以后成熟 CUDA Rust。CUDA C++ 和 CUDA Python 已是成熟的商业级工具链,而 AI 系统层正随模型与技术的演变持续变化。
Frontier Reasoning 推理与智能体 AI 在边缘端部署曾受限于大模型无法本地运行,需依赖数据中心导致高成本与数据外泄。该现状正在改变,NVIDIA 提供在 Jetson 硬件上部署并优化模型的方案以解决上述约束。
NVIDIA 通过六步渐进式优化演示,展示如何利用 CCCL API 和 Compute Sanitizer 快速定位非法内存访问等错误。教程涵盖使用 NVTX 改进基准测试、调用 CUB 库算法、管理池化容器及异步传输等技术。最终代码在保持安全与可维护性的同时显著提升性能,并附带可在 Google Colab 运行的完整示例代码。
针对视觉语言模型(VLM)适配数据分散于各机构无法集中的问题,NVIDIA 提出利用联邦学习协调跨站点训练。该方案旨在解决原始记录难以汇聚的挑战,支持在保持数据本地化的前提下构建多模态 AI 工作流。
NVIDIA SkillEvaluator 通过量化指令、示例及工具引导等上下文,解决智能体在寻找工具或处理专项任务时的低效问题。该方案旨在衡量技能包如何帮助 AI Agent 从意图到解决方案的移动速度,提升整体执行效能。
随着智能体与长上下文任务普及,注意力机制成为推理耗时主导因素。NVIDIA 主张围绕 GPU 执行特性重塑模型架构,通过 AI 模型协同设计优化注意力效率。该策略旨在解决长序列下注意力成本占比过高的问题,提升推理性能。
NVIDIA 推出 ModelExpress 技术,旨在以光速速度分发日益庞大的模型工件。该技术针对数百 GB 至 TB 级的检查点文件,优化了集群内冷启动、自动扩缩及 RL 后训练等场景下的权重移动效率。此举显著降低了因频繁搬运大体积模型权重而产生的高昂存储与传输成本。
NVIDIA OptiX Toolkit(OTK)提供针对 GPU 光线追踪应用的调试设施,可诊断无效 API 参数、黑屏及并发线程下的隐藏错误。该工具作为 GitHub 开源仓库,旨在帮助开发者解决难以定位的底层 Bug 以提升性能。
NVIDIA Isaac Lab 3.0.0-beta2.patch1 作为小版本补丁发布,主要更新以支持 Isaac Sim 6.0.1。此次更新包含针对 NuRec 工作流的修复与改进,并优化了依赖项和 Docker 镜像兼容性。
NVIDIA Isaac Lab 发布 v3.0.0-beta2 版本,重点稳定了 PhysX、Newton 及 OVPhysX 等多后端架构,增强了 Newton 物理与 Kit-less 工作流支持。
推荐理由:Isaac Lab 3.0 Beta 2 稳定了多后端架构与 Newton 物理支持,简化训练命令并修复多项运行时问题。