在 NVIDIA Jetson AGX Orin 上使用 cuDLA 运行原生 Python 推理
NVIDIA Deep Learning Accelerator (DLA) 平台通过专用硬件加速边缘端深度学习推理,将计算负载从 GPU 卸载以提升能效。该技术已在 NVIDIA Jetson AGX Orin 上实现原生 DLA 推理支持,允许开发者在 Python 环境中直接调用 cuDLA 库运行多神经网络应用。
NVIDIA Deep Learning Accelerator (DLA) 平台通过专用硬件加速边缘端深度学习推理,将计算负载从 GPU 卸载以提升能效。该技术已在 NVIDIA Jetson AGX Orin 上实现原生 DLA 推理支持,允许开发者在 Python 环境中直接调用 cuDLA 库运行多神经网络应用。
Luxonis DepthAI v3.12.1 修复了 OAK4-FFC 单目模块误用彩色驱动的问题,并解决多设备管道因不支持外部帧同步而启动失败及固件崩溃等缺陷。在特定条件下,ToF 场景处理帧率从 12.34 FPS 提升至 30.06 FPS(+144%),同时优化了 macOS 退出时的遥测数据保留机制。该版本已集成测试 Luxonis OS 1.48.0,旧版系统行为保持不变。
NVIDIA Alpamayo 2 Edge 旨在让自动驾驶开发者在车载系统的算力与延迟约束下部署推理模型。该技术通过缩减模型规模、保留有用推理能力并验证目标硬件性能,解决了大模型上车需额外工作的难题。
NVIDIA 宣布推出两个处于公开预览阶段的开源项目:NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR),用于构建和管理基于 GPU 基础设施的托管 Kubernetes 服务。
NVIDIA DSX AI Factory Platform 新增开源组件 NVIDIA Snapshot,让初始化后的 GPU 推理任务在副本间复用。该功能解决冷启动耗时分钟级的痛点,使突发需求或副本故障时可用 GPU 即刻转化为服务容量。
在 AI 工厂中,高带宽内存(HBM)是速度最快但成本最高的存储层级。NVIDIA 指出,冗余权重拷贝、空闲会话的 KV 缓存或重新计算的前缀均浪费字节资源。核心问题已从 GPU 拥有多少内存转变为每字节能产生多少有效工作产出。
NVIDIA 开发了 AI Factory Operations Agent,旨在通过单一界面让智能体自动关联分析计算、网络及硬件等多维数据以定位训练性能下降原因。该工具直接应用于 NVIDIA DGX SuperPOD 集群的现场可靠性工程场景,替代工程师需查看多个仪表盘的繁琐操作。
AI 正从数据中心向边缘扩展,开发者仅需几条命令即可构建用于监控驾驶员注意力、机器人环境感知及产线机器人群控的智能体。这些物理 AI 应用依赖在严格内存、功耗和延迟预算内运行的模型,以支持实时感知、推理与行动。
Autoware 2.0 正式发布,在原有规则基线栈旁新增 AI 规划器选项,采用生成 - 选择架构让用户通过 launch 参数选择 Diffusion Planner。基础模型与数据集已迁移至 Hugging Face,并引入 Autoware Index 管理外部仓库及 Autoware Reference Design 提供可复现的部署配置。
推荐理由:Autoware 2.0 新增扩散规划器与生成 - 选择架构,并将基础模型迁移至 Hugging Face。
针对仅需部分显存的 AI 负载,NVIDIA CUDA 13.4 支持在 Kubernetes 环境中通过内存机制进行 GPU 资源共享。该技术允许平台团队利用现有基础设施承载更多工作负载,有效解决全设备分配导致的容量闲置问题。
针对 Inclusion AI 模型 Ling-3.0-flash 在 NVIDIA DGX Spark 上的 batch-size-1 评估,分析显示解码阶段受限于读取模型权重的内存带宽。其中混合专家(MoE)计算与输出层投影是两大关键瓶颈操作。文章提出三种优化策略以突破该性能限制。
NVIDIA 在柏林 GTC 展示将多台 DGX Spark 节点互联,以支持需数百 GB 显存的前沿架构及多模型并行编排。此举旨在把开发环境从数据中心延伸至桌面,让开发者能直接链接更多 Spark 节点进行复杂实验。
随着 AI 模型计算量每五个月翻倍且训练数据集每八个月翻倍,高效移动存储数据成为关键。NVIDIA 提供基于 Python 的解决方案,利用 GPUDirect Storage 技术直接将数据从存储设备加载至 GPU 显存。该方法旨在解决日益增长的加速器算力与海量数据处理之间的带宽瓶颈问题。
NVIDIA CUDA Tile (cuTile) 作为基于 Python 的 DSL,利用高级硬件能力自动优化 tile 级 GPU 编程以交付峰值性能。该模型通过抽象线程和 warp 级调度,使开发者能用 Python 编写 GPU 内核并享受编译器自动优化带来的加速效果。
NVIDIA 推出 DOCA GPUNetIO,旨在让 GPU 应用的网络与数据传输行为如同由 GPU 直接控制的操作,而非依赖主机驱动服务。该技术通过消除 CPU 在网络事务中间的瓶颈,降低延迟并提升分布式应用的实时响应效率。此方案统一了 NVIDIA 软件栈中的 GPU 发起式网络架构,解决关键路径上的性能限制问题。
针对单进程内并发运行的低延迟算子与吞吐型内核等独立组件,NVIDIA 提出难以控制的 GPU 资源共享难题的解决方案。该方案旨在优化同一张 GPU 上数据预处理、模型推理及多阶段工作流的资源分配机制。目前仅披露技术方向,具体性能指标与部署状态待后续更新。
NVIDIA 开源了基于代码智能体设计的 TensorRT Model Connect,该集合提供 C++ 实现的 AI 模型参考方案。项目通过并行工作、模型族隔离及 GPU 验证等机制构建,旨在让 NVIDIA 推理栈性能更易获取。
NVIDIA 推出新工具在 AI 工作负载运行前验证 GPU 集群就绪状态,避免因单卡变慢或链路降级导致训练任务失败。该方案能识别配置错误引发的流量路由至低速路径问题,防止算力和网络资源浪费。
Google DeepMind 推出 Private AI Compute 架构升级,通过云端安全飞地临时解密数据并立即重加密,在保障端侧隐私标准下提供跨设备持久化记忆。该方案结合硬件强制的安全飞地与设备衍生的加密密钥,解决了前沿模型需云算力而用户要求数据不离端的长期困境。团队同步发布防篡改公开记录及独立审计报告,邀请社区验证其安全保护机制与系统架构。
SWE-Serve 评估推理服务软件变更时,发现 AI 编码代理生成的补丁虽能通过本地测试,但在服务器加载真实模型处理请求时仍可能失败。该工具基于 SGLang 团队输入,利用源自 53 个任务的基准暴露了完整服务路径中的缺陷,强调仅验证代码逻辑不足以确保生产环境正确性。
NVIDIA Topograph 通过感知 GPU 拓扑结构进行工作负载放置,避免跨共享链路传输导致吞吐量下降和成本上升。该技术防止 GPU 因等待数据而空转消耗供电,确保在功率受限的 AI 工厂中实现价值最大化。
NVIDIA Isaac ROS 通过引入 AI Agent 和上游抽象层,利用 CUDA 后端优化消息传输,避免感知与 AI 负载在 CPU 内存中序列化或复制。该方案旨在解决仅靠快速 CUDA 内核无法保证高效 ROS 2 图的问题,确保 GPU 加速收益不被节点间通信损耗侵蚀。
NVIDIA TensorRT Multi-Device Integration 是一项新能力,支持单个 TensorRT 网络利用 NCCL 后端在多 GPU 上执行分布式集合。该功能自 TensorRT 11.0 起获得完全支持,旨在解决生成式 AI 的计算与内存需求超出单卡限制的问题。
OpenCV 宣布与高通合作,为基于骁龙 X 系列处理器的 Windows 设备优化原生构建、测试基础设施及性能。项目将提供针对该平台的原生二进制文件并解决关键依赖,旨在建立可持续的发布流程。技术更新将通过既定评审过程逐步验证,成果将在里程碑完成时向社区共享。
NVIDIA 推出 TensorRT Edge-LLM,使其在 Jetson AGX Thor 边缘设备上完成 MLPerf Edge Agentic Benchmark 测试,推理速度较基线快 6.4 倍。该成果验证了 AI Agent 从云端向车辆、机器人等边缘设备迁移的可行性,满足智能体多步工具调用与长对话的快速生成需求。
NVIDIA Nemotron 3.5 Lightning 采用混合专家(MoE)架构,在 30B 总参数量下每 token 仅激活 3B 参数以兼顾容量。文章对比了 Dense 与 MoE 两种主流模型架构的主动参数组织方式及性能特征。内容重点解析了不同场景下选择 Dense 或 MoE 模型的依据,涵盖吞吐量分析与选型建议。
Groq 3 LPX 凭借确定性执行架构,在 NVIDIA Vera Rubin 平台上实现了针对 AI 工厂功耗约束的高能效推理。该方案将每瓦性能确立为衡量平台价值的核心指标,而非单纯的原始吞吐量。此技术旨在解决 AI 工作负载对全计算平台在有限功率预算下最大化输出的需求。
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA CUDA Toolkit 13.4 发布,首次将 Windows on Arm 平台纳入支持范围,此前该架构仅通过 Linux 运行 CUDA 应用。此次更新还提升了对共享 GPU 资源的控制能力,帮助开发者在更广泛的硬件生态中充分利用 NVIDIA GPU 性能与软件栈功能。
2026 年 9 月,NVIDIA 宣布将深入原生 GPU Rust 编程,计划到 2027 年及以后成熟 CUDA Rust。CUDA C++ 和 CUDA Python 已是成熟的商业级工具链,而 AI 系统层正随模型与技术的演变持续变化。
Frontier Reasoning 推理与智能体 AI 在边缘端部署曾受限于大模型无法本地运行,需依赖数据中心导致高成本与数据外泄。该现状正在改变,NVIDIA 提供在 Jetson 硬件上部署并优化模型的方案以解决上述约束。
NVIDIA PAIR Virtual Inference Router 通过扩展本地网络可用算力,支持将复杂任务拆解并由主智能体分配给专用子智能体执行。该方案应对多智能体会话并发运行及广度优先工作流日益普及的需求,旨在提升任务完成速度。
DeepMind 推出 Gemini 3.8 Flash 及专为可信防御者提供的 3.8 Flash Cyber,后者在内部基准中漏洞发现成功率超 70%,CWE-Bench 补丁 pass@1 达 47.2%。两款模型均基于相同核心智能,通过长周期智能循环迭代优化,在软件工程和关键多步推理领域显著提升性能且成本更低。
DepthAI v3.10.0 版本发布,新增基于特征匹配的图像拼接节点及通用消息对齐节点,支持 ImgFrame 等八类消息的保存与加载。该版本引入 ToF 去畸变功能、优化 NN 模型加载并将内存占用减半,同时修复了视频编码器参数校验等缺陷。
面对大模型推理中延迟目标、模型选择与预算约束的挑战,NVIDIA 提供方法指导组织自信地 sizing GPU 资源并优化总拥有成本(TCO)。该指南旨在帮助企业在复杂的流量模式下避免过度支出,解决从聊天机器人到内容生成等 AI 应用中的资源配置痛点。
英伟达推出 TensorRT Model Connect,通过两行命令即可将开源模型从检查点直接部署为原生 C++ 推理服务。该参考实现集合消除了模型特定的转换、预处理及运行时代码需求,支持在 NVIDIA TensorRT 上运行兼容模型。此举显著降低了将快速演进的开源 AI 模型集成至原生应用的工程门槛与开发成本。
NVIDIA Vera Rubin 和 Blackwell 架构为智能体 AI 性能每瓦特设定了新基准。基于 100 万亿 token 的真实使用数据,OpenRouter 报告显示平均提示词 token 数量增长约四倍,反映了从单轮交互向多步工作流的扩展。该成果展示了在复杂推理、工具调用及子智能体协调任务中能效的显著提升。
NVIDIA Vera CPU 专为处理不可预测的智能体负载而设计,在 GPU 运行模型时负责编排、工具执行及沙箱计算。该处理器通过高效转换电力与资本来优化"AI 工厂”整体栈的经济性,应对传统稳定运行时轮廓无法覆盖的波动需求。
NVIDIA Holoscan 是构建从医学影像到机器人等边缘端实时 AI 应用的平台,其配套仓库 HoloHub 收录了参考应用与组件。团队探索通用编码代理如何利用现有示例、文档及开发工具辅助工程师工作。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。