跳到正文
NVIDIA Technical Blog· Elizabeth Goodman·· 2026-09-16AI 评分12

NVIDIA Nemotron 3.5 Lightning 对比 Dense 与 MoE 架构:激活参数、吞吐量及选型指南

Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each

AI 导读

NVIDIA Nemotron 3.5 Lightning 采用混合专家(MoE)架构,在 30B 总参数量下每 token 仅激活 3B 参数以兼顾容量。文章对比了 Dense 与 MoE 两种主流模型架构的主动参数组织方式及性能特征。内容重点解析了不同场景下选择 Dense 或 MoE 模型的依据,涵盖吞吐量分析与选型建议。

来源:NVIDIA Technical Blog · developer.nvidia.com