跳到正文
实时
机器之心·收录于· 5 天前65

SGLang 并行推测解码性能达 SOTA,吞吐最高提升 4 倍已开源

并行推测解码SOTA!因果依赖刻进草稿网络深度,SGLang吞吐最高达4倍,已开源

要点速览

SGLang 通过并行推测解码实现草稿网络深度因果依赖,吞吐量最高达 4 倍,已开源。

来源: 机器之心 · jiqizhixin.com