跳到正文
NVIDIA Technical Blog· Tanya Lenz·· 2026-09-22AI 评分28

多 GPU 模型服务简化:NVIDIA TensorRT Multi-Device Integration 在 NVIDIA Dynamo-Triton 中的集成

Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton

AI 导读

NVIDIA TensorRT Multi-Device Integration 是一项新能力,支持单个 TensorRT 网络利用 NCCL 后端在多 GPU 上执行分布式集合。该功能自 TensorRT 11.0 起获得完全支持,旨在解决生成式 AI 的计算与内存需求超出单卡限制的问题。

来源:NVIDIA Technical Blog · developer.nvidia.com