NVIDIA Technical Blog· Tanya Lenz·· 2026-09-22AI 评分28
多 GPU 模型服务简化:NVIDIA TensorRT Multi-Device Integration 在 NVIDIA Dynamo-Triton 中的集成
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
AI 导读
NVIDIA TensorRT Multi-Device Integration 是一项新能力,支持单个 TensorRT 网络利用 NCCL 后端在多 GPU 上执行分布式集合。该功能自 TensorRT 11.0 起获得完全支持,旨在解决生成式 AI 的计算与内存需求超出单卡限制的问题。
来源:NVIDIA Technical Blog · developer.nvidia.com