跳到正文
实时
热点事件历史事件

蚂蚁集团与vLLM社区开源Humming内核库

1 篇报道1 个报道来源29 天前更新

先了解这件事

AI 综述

蚂蚁集团和 vLLM 社区开源了通用量化推理高性能内核库 Humming,支持英伟达 GPU 及 T-Head Zhenwu 810E 等设备,提供多种量化方案,在多个代表性工作负载上优于现有实现。

AI 根据报道生成 · 更新于 27 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. vLLM Blog
    蚂蚁集团与 vLLM 社区开源 Humming:通用量化推理高性能内核库

    蚂蚁集团和 vLLM 社区开源 Humming,这是一款通用的高性能量化推理内核库。Humming 支持英伟达从图灵架构开始的 GPU 以及 T-Head Zhenwu 810E 等 CUDA 兼容设备,提供广泛的量化支持,涵盖多种整数和浮点类型、位宽和缩放方案,在多个代表性工作负载上显著优于 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。