实时
vLLM 推出基于推送的 KV 传输以提升分散推理性能
热点事件历史事件
vLLM 推出基于推送的 KV 传输以提升分散推理性能
2 篇报道1 个报道来源2026-10-20更新
先了解这件事
AI 综述
vLLM 通过引入基于推送的 NIXL 连接器,在后续对话回合中返回先前计算的 KV 缓存,减少了重复计算,从而提升了分散推理的时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),改善了应用响应性。 该机制通过扩展 NIXL KV 连接器实现,并利用 KV 缓存感知路由器协调跨对话回合的 KV 重用。在 AWS EC2 P5en 实例上的多轮基准测试中,Qwen3-32B 的 TTFT 提升了 1.6 倍,zai-org/GLM-5-FP8 提升了 3.3 倍。
AI 根据报道生成 · 更新于 27 天前
最新进展10月20日 00:05
vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT事件进展
2 个进展
- 10月20日 00:05 · 1 篇报道vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOTAWS Machine Learning Blog:vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT
- 10月20日 00:03 · 1 篇报道vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能AWS Machine Learning Blog:vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能
报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogvLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT
vLLM 引入基于推送的 NIXL 连接器,通过将后预填充传输协调和设置移出关键路径,减少时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),提升应用响应性。
- AWS Machine Learning BlogvLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能
vLLM 的双向 KV 传输机制通过让解码节点在后续对话回合中返回先前计算的 KV 缓存给预填充节点,减少了重复计算,在 AWS EC2 P5en 实例上的多轮基准测试中将 Qwen3-32B 的 TTFT 提升了 1.6 倍,zai-org/GLM-5-FP8 提升了 3.3 倍。该功能通过扩展 NIXL KV 连接器实现,并利用 KV 缓存感知路由器协调跨对话回合的 KV 重用。