NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
Inclusion AI 在 NVIDIA DGX Spark 上对 Ling-3.0-flash 进行批大小 1 评估时发现解码是内存限制因素，其中 MoE 计算和输出层投影导致执行时间增加。MoE 计算和输出层投影是瓶颈。
同一件事另外 1 家也报道了
各家口径不同：NVIDIA技术博客指出解码是内存瓶颈，由于MoE计算和输出层投影，而MarkTechPost强调了由于新的MoE后端、FP8输出层和推测解码导致的42.5%吞吐量提升和3.5倍速度提升。
- NVIDIA Technical Blog··首发·当前阅读
NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法
- MarkTechPost··+7 天
NVIDIA 展示 3 种方法加速 DGX Spark 上的 MoE 推理，将 Ling-3.0-flash 吞吐量提升 42.5%
新增信息：NVIDIA引入了新的MoE后端、FP8输出层和推测解码来实现加速。
按发布时间排列 · 事件后续出现时自动追加 · 由模型根据各家标题与摘要比对
Generating tokens faster starts with identifying what limits inference performance. In the batch-size-1 evaluation of Ling-3.0-flash from Inclusion AI on NVIDIA...
Generating tokens faster starts with identifying what limits inference performance. In the batch-size-1 evaluation of Ling-3.0-flash from Inclusion AI on NVIDIA DGX Spark, profiling showed that decoding was memory-bound: reading model weights drove execution time. Two operations stood out—the mixture-of-experts (MoE) computation and the output-layer projection that produces scores across the model’…
来源: NVIDIA Technical Blog · developer.nvidia.com