实时
蚂蚁集团与vLLM社区开源Humming内核库
热点事件历史事件
蚂蚁集团与vLLM社区开源Humming内核库
1 篇报道1 个报道来源29 天前更新
先了解这件事
AI 综述
蚂蚁集团和 vLLM 社区开源了通用量化推理高性能内核库 Humming,支持英伟达 GPU 及 T-Head Zhenwu 810E 等设备,提供多种量化方案,在多个代表性工作负载上优于现有实现。
AI 根据报道生成 · 更新于 27 天前
最新进展10月21日 08:00
蚂蚁集团与 vLLM 社区开源 Humming:通用量化推理高性能内核库报道时间线
沿着报道,了解事件的不同侧面。
10月21日
- vLLM Blog蚂蚁集团与 vLLM 社区开源 Humming:通用量化推理高性能内核库
蚂蚁集团和 vLLM 社区开源 Humming,这是一款通用的高性能量化推理内核库。Humming 支持英伟达从图灵架构开始的 GPU 以及 T-Head Zhenwu 810E 等 CUDA 兼容设备,提供广泛的量化支持,涵盖多种整数和浮点类型、位宽和缩放方案,在多个代表性工作负载上显著优于 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。