跳到正文
量子位· 量子位的朋友们·· 2026-10-19AI 评分60

商汤大装置:通过异构协同与架构创新提升推理效能

日均6万亿Token服务背后,商汤大装置如何提升推理效能?

AI 导读

在CSDI Summit峰会上,商汤大装置副总裁宣善明分享了Agentic时代AI基础设施的实践。面对Token需求千倍级增长与高端芯片供给受限的矛盾,商汤探索以PD分离为核心的万卡级异构推理集群,利用国产算力承担Prefill、高阶GPU承担Decode,在临港AIDC实现整体Token吞吐量提升5倍。

来源:量子位 · qbitai.com