DeepSeek 开源推理框架 DeepInfer
先了解这件事
DeepSeek 开源了其内部推理框架 DeepInfer,以 Apache License 2.0 发布,该框架用于运行其生产服务并支撑 DeepSeek-V4.1-Flash。机器之心报道称,此次还一并开源了配套的 token 编解码组件 deepseek-recipe;DeepSeek 称未来模型的代码也将开源。 vLLM 团队在 NVIDIA GB300 NVL72 单机架上服务 DeepSeek-V4.1-Flash,称性能追平 DeepInfer 并扩展至整机架。vLLM 指出,DeepInfer 是面向单一模型的离线引擎,而 vLLM 的测试是在线服务、采用 P/D 分离与 Wide-EP,两者配置不同,因此不能把两条曲线的差距解读为引擎之间的加速比。 机器之心报道提到,框架开源后用户可计算 AI 毛利达 82%,这是报道中的说法,并非已验证的效果。
AI 根据报道生成 · 更新于 19 天前
事件进展
3 个进展
- 10月30日 01:50 · 1 篇报道Baseten and Postman: Building reliable, cost-efficient agentBaseten Blog:Baseten 与 Postman:构建企业级可靠且经济高效的智能体
- 10月23日 08:00 · 1 篇报道Serving DeepSeek-V4.1-Flash at ScalevLLM Blog:vLLM在GB300 NVL72上服务DeepSeek-V4.1-Flash:性能追平DeepInfer并扩展至整机架
- 10月20日 22:31 · 3 篇报道DeepSeek开源推理框架DeepInferThe Decoder:DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行
报道时间线
沿着报道,了解事件的不同侧面。
- Baseten BlogBaseten 与 Postman:构建企业级可靠且经济高效的智能体
Postman 的智能体栈包含 Passport、Fabric、Astropods 和 Fern 四个产品,用于准备 API、控制系统访问和治理智能体行为。Baseten 作为 Postman 推荐的企业团队推理伙伴,提供快速、可靠且经济高效的推理基础设施,支持多种模型,如 Beam 1.0 和 DeepSeek V4.1 Flash,在吞吐量和延迟方面排名靠前。
- vLLM Blog精选vLLM在GB300 NVL72上服务DeepSeek-V4.1-Flash:性能追平DeepInfer并扩展至整机架
vLLM 团队在 NVIDIA GB300 NVL72 单机架上用 P/D 分离与 Wide-EP 服务 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s,为早期单节点结果的 7.9 倍。
- 机器之心DeepSeek开源推理框架DeepInfer及token编解码组件deepseek-recipe
DeepSeek开源了其支撑大规模推理服务的基础框架DeepInfer及配套token编解码组件deepseek-recipe,采用Apache 2.0许可证。DeepInfer是DeepSeek推理服务核心,框架开源后用户可计算AI毛利达82%。
- Latent SpaceDeepSeek DeepInfer 开源 SOTA 推理引擎:每日处理 155T tokens/集群,日创利 220 万美元,80% 利润率,81 天投资回报
DeepSeek 发布开源推理引擎 DeepInfer,支持分布式推理、推测解码等,单集群每日处理 155T tokens,96% 输入缓存命中率,单卡时程收入 38 美元/小时,80% 利润率,81 天投资回报。引擎基于 vLLM 并添加缓存优化,但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。
- The DecoderDeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
- MarkTechPostDeepSeek 开源 DeepInfer 推理框架,支撑 DeepSeek-V4.1-Flash
DeepSeek 开源了 DeepInfer 推理框架,该框架用于运行其生产服务并支撑 DeepSeek-V4.1-Flash。