Buoyant 开源 Kinference 推理控制平面
先了解这件事
Buoyant 发布开源项目 Kinference,作为 vLLM 与 Kubernetes 之上的推理控制平面,以 Apache v2 协议完全开源并已在 GitHub 上线,当前版本为 v0.1.0-alpha.7。它在 vLLM 工作节点前分发请求,提供路由策略、token 限流、KV cache 感知的负载均衡和按租户的指标与成本追踪。 MarkTechPost 报道称,在针对共享前缀工作负载的基准测试中,中位数 TTFT 从 6.88 秒降至 0.31 秒(95%)。 安装指南将 Kinference 装入默认命名空间,Buoyant 提示步骤可能变化,应以 kinference.ai/docs 的最新文档为准。
AI 根据报道生成 · 更新于 22 分钟前
事件进展
2 个进展
- 11月18日 00:11 · 1 篇报道软件工程师的推理工程Pragmatic Engineer:软件工程师的推理工程
- 11月4日 08:00 · 2 篇报道介绍 KinferencevLLM Blog:Buoyant 开源 Kinference:面向 vLLM 与 Kubernetes 的推理控制平面
报道时间线
沿着报道,了解事件的不同侧面。
- Pragmatic Engineer软件工程师的推理工程
Uber、Pinterest 和 AT&T 通过采用开源模型将每 token 成本分别降低了 50%、90% 和 56%。推理提供商如 Modal、Fireworks AI 和 Baseten 运行开源权重模型,不同于训练自有前沿模型的 AI 实验室,它们提供 GPU 基础设施和竞争性定价,允许客户通过多租户 API 或专用 GPU 部署 LLM。
- MarkTechPostBuoyant 发布 Kinference:一个开源的 Kubernetes 和 vLLM 推理控制平面
Buoyant 发布了 Kinference,一个开源的 Kubernetes 和 vLLM 推理控制平面,其当前版本为 v0.1.0-alpha.7。它通过路由策略、token 速率限制、KV 缓存感知负载均衡和按租户的指标,在 vLLM 工作节点前进行请求分发。在基准测试中,针对共享前缀工作负载,中位数 TTFT 从 6.88 秒降至 0.31 秒(95%)。
- vLLM Blog精选Buoyant 开源 Kinference:面向 vLLM 与 Kubernetes 的推理控制平面
Buoyant 发布开源项目 Kinference,作为 vLLM 与 Kubernetes 之上的推理控制平面,提供 token 限流、租户用量与成本追踪、KV cache 感知的负载均衡和推理策略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。