跳到正文
实时
热点事件历史事件

DeepSeek 开源推理框架 DeepInfer

6 篇报道6 个报道来源20 天前更新

先了解这件事

AI 综述

DeepSeek 开源了其内部推理框架 DeepInfer,以 Apache License 2.0 发布,该框架用于运行其生产服务并支撑 DeepSeek-V4.1-Flash。机器之心报道称,此次还一并开源了配套的 token 编解码组件 deepseek-recipe;DeepSeek 称未来模型的代码也将开源。 vLLM 团队在 NVIDIA GB300 NVL72 单机架上服务 DeepSeek-V4.1-Flash,称性能追平 DeepInfer 并扩展至整机架。vLLM 指出,DeepInfer 是面向单一模型的离线引擎,而 vLLM 的测试是在线服务、采用 P/D 分离与 Wide-EP,两者配置不同,因此不能把两条曲线的差距解读为引擎之间的加速比。 机器之心报道提到,框架开源后用户可计算 AI 毛利达 82%,这是报道中的说法,并非已验证的效果。

AI 根据报道生成 · 更新于 19 天前

事件进展

3 个进展

  1. 10月30日 01:50 · 1 篇报道
    Baseten and Postman: Building reliable, cost-efficient agent
    Baseten Blog:Baseten 与 Postman:构建企业级可靠且经济高效的智能体
  2. 10月23日 08:00 · 1 篇报道
    Serving DeepSeek-V4.1-Flash at Scale
    vLLM Blog:vLLM在GB300 NVL72上服务DeepSeek-V4.1-Flash:性能追平DeepInfer并扩展至整机架
  3. 10月20日 22:31 · 3 篇报道
    DeepSeek开源推理框架DeepInfer
    The Decoder:DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. Baseten Blog
    Baseten 与 Postman:构建企业级可靠且经济高效的智能体

    Postman 的智能体栈包含 Passport、Fabric、Astropods 和 Fern 四个产品,用于准备 API、控制系统访问和治理智能体行为。Baseten 作为 Postman 推荐的企业团队推理伙伴,提供快速、可靠且经济高效的推理基础设施,支持多种模型,如 Beam 1.0 和 DeepSeek V4.1 Flash,在吞吐量和延迟方面排名靠前。

10月23日
  1. vLLM Blog精选
    vLLM在GB300 NVL72上服务DeepSeek-V4.1-Flash:性能追平DeepInfer并扩展至整机架

    vLLM 团队在 NVIDIA GB300 NVL72 单机架上用 P/D 分离与 Wide-EP 服务 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s,为早期单节点结果的 7.9 倍。

10月22日
  1. 机器之心
    DeepSeek开源推理框架DeepInfer及token编解码组件deepseek-recipe

    DeepSeek开源了其支撑大规模推理服务的基础框架DeepInfer及配套token编解码组件deepseek-recipe,采用Apache 2.0许可证。DeepInfer是DeepSeek推理服务核心,框架开源后用户可计算AI毛利达82%。

10月21日
  1. Latent Space
    DeepSeek DeepInfer 开源 SOTA 推理引擎:每日处理 155T tokens/集群,日创利 220 万美元,80% 利润率,81 天投资回报

    DeepSeek 发布开源推理引擎 DeepInfer,支持分布式推理、推测解码等,单集群每日处理 155T tokens,96% 输入缓存命中率,单卡时程收入 38 美元/小时,80% 利润率,81 天投资回报。引擎基于 vLLM 并添加缓存优化,但 KV 缓存管理和负载均衡组件未完全开源。vLLM 团队报告在 GB200 上解码吞吐量与 DeepInfer 相近。

  2. The Decoder
    DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 高速低成本运行

    DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。

10月20日
  1. MarkTechPost
    DeepSeek 开源 DeepInfer 推理框架,支撑 DeepSeek-V4.1-Flash

    DeepSeek 开源了 DeepInfer 推理框架,该框架用于运行其生产服务并支撑 DeepSeek-V4.1-Flash。