跳到正文
实时
热点事件历史事件

llm-d 1.0 发布强化开源 AI 推理生产环境

1 篇报道1 个报道来源29 天前更新

先了解这件事

AI 综述

llm-d 项目宣布发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务网络,支持在任何加速器上、任何云中部署任何模型的推理栈。该版本增强了多租户服务质量、零停机操作和智能体感知服务,以在常见生产操作中实现持续性能。通过前缀缓存感知路由和 KV 缓存卸载等技术,llm-d 1.0 可捕获 97% 的可用缓存重用,降低大规模 AI 服务的成本。

AI 根据报道生成 · 更新于 27 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. IBM Research Blog
    llm-d 1.0 发布:强化开源 AI 推理生产环境

    llm-d 项目宣布发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务网络,支持在任何加速器上、任何云中部署任何模型的推理栈。该版本增强了多租户服务质量、零停机操作和智能体感知服务,以在常见生产操作中实现持续性能。通过前缀缓存感知路由和 KV 缓存卸载等技术,llm-d 1.0 可捕获 97% 的可用缓存重用,降低大规模 AI 服务的成本。