实时
llm-d 1.0 发布强化开源 AI 推理生产环境
热点事件历史事件
llm-d 1.0 发布强化开源 AI 推理生产环境
1 篇报道1 个报道来源29 天前更新
先了解这件事
AI 综述
llm-d 项目宣布发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务网络,支持在任何加速器上、任何云中部署任何模型的推理栈。该版本增强了多租户服务质量、零停机操作和智能体感知服务,以在常见生产操作中实现持续性能。通过前缀缓存感知路由和 KV 缓存卸载等技术,llm-d 1.0 可捕获 97% 的可用缓存重用,降低大规模 AI 服务的成本。
AI 根据报道生成 · 更新于 27 天前
最新进展10月20日 20:00
llm-d 1.0 发布:强化开源 AI 推理生产环境报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- IBM Research Blogllm-d 1.0 发布:强化开源 AI 推理生产环境
llm-d 项目宣布发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务网络,支持在任何加速器上、任何云中部署任何模型的推理栈。该版本增强了多租户服务质量、零停机操作和智能体感知服务,以在常见生产操作中实现持续性能。通过前缀缓存感知路由和 KV 缓存卸载等技术,llm-d 1.0 可捕获 97% 的可用缓存重用,降低大规模 AI 服务的成本。