实时
Google Cloud 发布 llm-d 1.0
热点事件历史事件
Google Cloud 发布 llm-d 1.0
1 篇报道1 个报道来源29 天前更新
先了解这件事
AI 综述
Google Cloud 发布了开源分布式推理栈 llm-d 1.0,该版本集成了 vLLM 或 SGLang 模型服务器,并引入了缓存感知路由技术以优化 TPU 和 GPU 阵列的性能,旨在解决自托管智能体和强化学习工作负载中的负载均衡问题。该产品可在 Kubernetes 环境下运行,支持 NVIDIA、AMD、Intel GPU 及 Google TPUs。性能提升主要来自缓存感知路由、分层 KV 缓存卸载和预填充/解码解耦。在 Ironwood TPU 编程工作负载上,最佳情况下中位数 TTFT 减少了 85% 以上,吞吐量提升了 2.4 倍;但在强化学习时间切片场景中,加速器利用率仅提升至 70% 以上,仍有约 30% 的闲置时间。
AI 根据报道生成 · 更新于 27 天前
最新进展10月21日 12:33
Google Cloud 发布 llm-d 1.0,搭载缓存感知路由支持 TPU 和 GPU 阵列报道时间线
沿着报道,了解事件的不同侧面。
10月21日
- MarkTechPostGoogle Cloud 发布 llm-d 1.0,搭载缓存感知路由支持 TPU 和 GPU 阵列
Google Cloud 发布开源分布式推理栈 llm-d 1.0,将 vLLM 或 SGLang 模型服务器整合为统一池,在 PyTorch 会议北美站发布,目标解决自托管智能体和强化学习工作负载中轮询负载均衡失效问题