跳到正文
实时
热点事件历史事件

vLLM 推出基于推送的 KV 传输以提升分散推理性能

2 篇报道1 个报道来源2026-10-20更新

先了解这件事

AI 综述

vLLM 通过引入基于推送的 NIXL 连接器,在后续对话回合中返回先前计算的 KV 缓存,减少了重复计算,从而提升了分散推理的时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),改善了应用响应性。 该机制通过扩展 NIXL KV 连接器实现,并利用 KV 缓存感知路由器协调跨对话回合的 KV 重用。在 AWS EC2 P5en 实例上的多轮基准测试中,Qwen3-32B 的 TTFT 提升了 1.6 倍,zai-org/GLM-5-FP8 提升了 3.3 倍。

AI 根据报道生成 · 更新于 27 天前

事件进展

2 个进展

  1. 10月20日 00:05 · 1 篇报道
    vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT
    AWS Machine Learning Blog:vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT
  2. 10月20日 00:03 · 1 篇报道
    vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能
    AWS Machine Learning Blog:vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. AWS Machine Learning Blog
    vLLM 推出基于推送的 KV 传输以提升分散推理的 TTFT 和 TPOT

    vLLM 引入基于推送的 NIXL 连接器,通过将后预填充传输协调和设置移出关键路径,减少时间到第一个 token (TTFT) 和每个输出 token 的时间 (TPOT),提升应用响应性。

  2. AWS Machine Learning Blog
    vLLM 通过双向 KV 传输提升多轮智能体工作负载的 TTFT 性能

    vLLM 的双向 KV 传输机制通过让解码节点在后续对话回合中返回先前计算的 KV 缓存给预填充节点,减少了重复计算,在 AWS EC2 P5en 实例上的多轮基准测试中将 Qwen3-32B 的 TTFT 提升了 1.6 倍,zai-org/GLM-5-FP8 提升了 3.3 倍。该功能通过扩展 NIXL KV 连接器实现,并利用 KV 缓存感知路由器协调跨对话回合的 KV 重用。