跳到正文
实时
热点事件历史事件

LowRAM 发布

1 篇报道1 个报道来源10 天前更新

先了解这件事

AI 综述

Hugging Face 发布了 LowRAM KV 缓存压缩方法,通过低秩分解压缩键并使用小头网络预测值,实现 4 倍值缓存压缩且性能近乎无损。选择性重建可使 262K 上下文在 4 倍 KV 压缩下峰值解码吞吐量提升 5 倍。结合量化和驱逐,压缩推至 26.9 倍,同时保留 94.5% 的基线性能。该方法适用于长文档问答和多查询共享上下文场景,预测器可一次性拟合并复用。

AI 根据报道生成 · 更新于 9 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. Hugging Face Daily Papers
    LowRAM:一种用于可组合 KV 缓存压缩的低秩键和摊销值的测试时方法

    LowRAM 通过低秩分解压缩键,并使用小头网络根据键预测值,同时保留最难重建标记的残差校正,实现 4 倍值缓存压缩且性能近乎无损。选择性重建可使 262K 上下文在 4 倍 KV 压缩下峰值解码吞吐量提升 5 倍。结合量化和驱逐,LowRAM 将压缩推至 26.9 倍,同时保留 94.5% 的基线性能。