实时
vLLM 发布 GLM-5.3 长上下文部署优化
热点事件历史事件
vLLM 发布 GLM-5.3 长上下文部署优化
1 篇报道1 个报道来源27 天前更新
先了解这件事
AI 综述
vLLM团队发布技术博客第二部分,介绍GLM-5.3在16张H200上的部署优化:采用1个预填节点加1个解码节点,用PCP按token切分预填、DCP按token切分KV cache,使1M上下文能够放入预填节点。 vLLM团队称,在AgentX上,PCP8 × DCP8预填配合Hybrid HiSparse解码,在同等吞吐下每用户速度是数据并行部署的1.7–3.2倍,也是其测试中唯一能服务1M token上下文的配置。 上述结果需在vLLM v0.32.0及以上版本(vllm/vllm-openai:v0.32.0镜像)运行;若不启用sparse_mla_force_mqa,提示词落在2,048 token top-k以内的预填批次会走稠密MHA路径。
AI 根据报道生成 · 更新于 25 天前
最新进展10月23日 08:00
vLLM 详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- vLLM Blog精选vLLM 详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化
vLLM 团队发布 GLM-5.3 优化第二部分,在 16 张 H200 上以 1 个预填节点加 1 个解码节点部署,用 PCP 按 token 切分预填、DCP 按 token 切分 KV cache,使 1M 上下文可放入预填节点