跳到正文
实时
热点事件历史事件

vLLM 发布 GLM-5.3 长上下文部署优化

1 篇报道1 个报道来源27 天前更新

先了解这件事

AI 综述

vLLM团队发布技术博客第二部分,介绍GLM-5.3在16张H200上的部署优化:采用1个预填节点加1个解码节点,用PCP按token切分预填、DCP按token切分KV cache,使1M上下文能够放入预填节点。 vLLM团队称,在AgentX上,PCP8 × DCP8预填配合Hybrid HiSparse解码,在同等吞吐下每用户速度是数据并行部署的1.7–3.2倍,也是其测试中唯一能服务1M token上下文的配置。 上述结果需在vLLM v0.32.0及以上版本(vllm/vllm-openai:v0.32.0镜像)运行;若不启用sparse_mla_force_mqa,提示词落在2,048 token top-k以内的预填批次会走稠密MHA路径。

AI 根据报道生成 · 更新于 25 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. vLLM Blog精选
    vLLM 详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化

    vLLM 团队发布 GLM-5.3 优化第二部分,在 16 张 H200 上以 1 个预填节点加 1 个解码节点部署,用 PCP 按 token 切分预填、DCP 按 token 切分 KV cache,使 1M 上下文可放入预填节点