实时
LowRAM 发布
热点事件历史事件
LowRAM 发布
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
Hugging Face 发布了 LowRAM KV 缓存压缩方法,通过低秩分解压缩键并使用小头网络预测值,实现 4 倍值缓存压缩且性能近乎无损。选择性重建可使 262K 上下文在 4 倍 KV 压缩下峰值解码吞吐量提升 5 倍。结合量化和驱逐,压缩推至 26.9 倍,同时保留 94.5% 的基线性能。该方法适用于长文档问答和多查询共享上下文场景,预测器可一次性拟合并复用。
AI 根据报道生成 · 更新于 9 天前
最新进展11月9日 08:00
LowRAM:一种用于可组合 KV 缓存压缩的低秩键和摊销值的测试时方法报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- Hugging Face Daily PapersLowRAM:一种用于可组合 KV 缓存压缩的低秩键和摊销值的测试时方法
LowRAM 通过低秩分解压缩键,并使用小头网络根据键预测值,同时保留最难重建标记的残差校正,实现 4 倍值缓存压缩且性能近乎无损。选择性重建可使 262K 上下文在 4 倍 KV 压缩下峰值解码吞吐量提升 5 倍。结合量化和驱逐,LowRAM 将压缩推至 26.9 倍,同时保留 94.5% 的基线性能。