跳到正文
实时
热点事件持续更新

Buoyant 开源 Kinference 推理控制平面

3 篇报道3 个报道来源37 分钟前更新

先了解这件事

AI 综述

Buoyant 发布开源项目 Kinference,作为 vLLM 与 Kubernetes 之上的推理控制平面,以 Apache v2 协议完全开源并已在 GitHub 上线,当前版本为 v0.1.0-alpha.7。它在 vLLM 工作节点前分发请求,提供路由策略、token 限流、KV cache 感知的负载均衡和按租户的指标与成本追踪。 MarkTechPost 报道称,在针对共享前缀工作负载的基准测试中,中位数 TTFT 从 6.88 秒降至 0.31 秒(95%)。 安装指南将 Kinference 装入默认命名空间,Buoyant 提示步骤可能变化,应以 kinference.ai/docs 的最新文档为准。

AI 根据报道生成 · 更新于 22 分钟前

最新进展11月18日 00:11
软件工程师的推理工程

事件进展

2 个进展

  1. 11月18日 00:11 · 1 篇报道
    软件工程师的推理工程
    Pragmatic Engineer:软件工程师的推理工程
  2. 11月4日 08:00 · 2 篇报道
    介绍 Kinference
    vLLM Blog:Buoyant 开源 Kinference:面向 vLLM 与 Kubernetes 的推理控制平面

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Pragmatic Engineer
    软件工程师的推理工程

    Uber、Pinterest 和 AT&T 通过采用开源模型将每 token 成本分别降低了 50%、90% 和 56%。推理提供商如 Modal、Fireworks AI 和 Baseten 运行开源权重模型,不同于训练自有前沿模型的 AI 实验室,它们提供 GPU 基础设施和竞争性定价,允许客户通过多租户 API 或专用 GPU 部署 LLM。

11月7日
  1. MarkTechPost
    Buoyant 发布 Kinference:一个开源的 Kubernetes 和 vLLM 推理控制平面

    Buoyant 发布了 Kinference,一个开源的 Kubernetes 和 vLLM 推理控制平面,其当前版本为 v0.1.0-alpha.7。它通过路由策略、token 速率限制、KV 缓存感知负载均衡和按租户的指标,在 vLLM 工作节点前进行请求分发。在基准测试中,针对共享前缀工作负载,中位数 TTFT 从 6.88 秒降至 0.31 秒(95%)。

11月4日
  1. vLLM Blog精选
    Buoyant 开源 Kinference:面向 vLLM 与 Kubernetes 的推理控制平面

    Buoyant 发布开源项目 Kinference,作为 vLLM 与 Kubernetes 之上的推理控制平面,提供 token 限流、租户用量与成本追踪、KV cache 感知的负载均衡和推理策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。