实时
NVIDIA 分享提升 MoE 推理性能的 3 种方法
热点事件历史事件
NVIDIA 分享提升 MoE 推理性能的 3 种方法
2 篇报道2 个报道来源15 天前更新
先了解这件事
AI 综述
NVIDIA 通过分析发现解码是内存限制因素,MoE 计算和输出层投影导致执行时间增加,并分享了提升 MoE 推理性能的 3 种方法。Inclusion AI 在 NVIDIA DGX Spark 上对 Ling-3.0-flash 进行批大小 1 评估时发现解码是内存限制的:读取模型权重驱动了执行时间,其中 MoE 计算和输出层投影是瓶颈。NVIDIA 通过新 MoE 内核后端、FP8 输出层和内置推测解码,将 124B 参数的 Ling-3.0-flash 模型在 DGX Spark 上的推理吞吐量提升 42.5%,速度提升 3.5x,准确率无变化。该优化适用于单用户桌面系统,在 1,319 个 GSM8K 问题测试中,吞吐量从 37.81 tokens/s 提升至 53.89 tokens/s,延迟降低 24.5%。
AI 根据报道生成 · 更新于 15 天前
报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- MarkTechPostNVIDIA 展示 3 种方法加速 DGX Spark 上的 MoE 推理,将 Ling-3.0-flash 吞吐量提升 42.5%
NVIDIA 通过新 MoE 内核后端、FP8 输出层和内置推测解码,将 124B 参数的 Ling-3.0-flash 模型在 DGX Spark 上的推理吞吐量提升 42.5%,速度提升 3.5x,准确率无变化。该优化适用于单用户桌面系统,在 1,319 个 GSM8K 问题测试中,吞吐量从 37.81 tokens/s 提升至 53.89 tokens/s,延迟降低 24.5%。
10月27日
- NVIDIA Technical BlogNVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法
Inclusion AI 在 NVIDIA DGX Spark 上对 Ling-3.0-flash 进行批大小 1 评估时发现解码是内存限制因素,其中 MoE 计算和输出层投影导致执行时间增加。MoE 计算和输出层投影是瓶颈。