inclusionAI/Ling-3.0-flash-UBTree 发布:基于 UBTree 技术的推测解码模型
inclusionAI 发布 Ling-3-Flash-UBTree-B16 模型,结合五层 DFlash 主干和学习的 bigram 选择器,为 Ling3-Flash 提出多个候选延续用于目标模型验证,参数量 482M,在 MMLU 等基准上实现 3x+ 的 E2E 速度提升,目前 UBTree 适配尚未开源,SGLang 集成支持预计即将推出。
inclusionAI 发布 Ling-3-Flash-UBTree-B16 模型,结合五层 DFlash 主干和学习的 bigram 选择器,为 Ling3-Flash 提出多个候选延续用于目标模型验证,参数量 482M,在 MMLU 等基准上实现 3x+ 的 E2E 速度提升,目前 UBTree 适配尚未开源,SGLang 集成支持预计即将推出。