实时
AKV 引入缓存工程管理 LLM 智能体键值缓存
热点事件历史事件
AKV 引入缓存工程管理 LLM 智能体键值缓存
2 篇报道2 个报道来源24 天前更新
先了解这件事
AI 综述
AKV 通过 drop 和 repos 操作管理 LLM 智能体键值缓存,提升效率与准确性。实验显示,工具响应滚动 drop 缓存策略使平均基准分数提升 1.7 分,成本降低 27.7%,输出吞吐量最高提升 1.2 倍,P95 请求延迟加速 1.5 倍。AKV 通过 GitHub 仓库 https://github.com/thu-nics/AKV 提供 code,称引入缓存工程管理 LLM 智能体键值缓存,不改变轨迹,提升效率与准确性。清华大学和港大研究人员开源 AKV,为 LLM 智能体提供 KV 缓存工程服务。
AI 根据报道生成 · 更新于 24 天前
最新进展10月26日 15:56
清华大学开源 AKV,为 SGLang 上 LLM 智能体提供缓存工程服务器事件进展
2 个进展
- 10月26日 15:56 · 1 篇报道Tsinghua AI Open-Sources AKVMarkTechPost:清华大学开源 AKV,为 SGLang 上 LLM 智能体提供缓存工程服务器
- 10月22日 08:00 · 1 篇报道智能体缓存工程Hugging Face Daily Papers:AKV 引入缓存工程管理 LLM 智能体键值缓存
报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- MarkTechPost清华大学开源 AKV,为 SGLang 上 LLM 智能体提供缓存工程服务器
清华大学和港大研究人员开源 AKV,为 LLM 智能体提供 KV 缓存工程服务。通过丢弃选定缓存条目并重用其余部分,在 3 个模型和 4 个智能体基准测试中,平均成本降低 27.7%,平均任务分数提升 1.7 分。
10月22日
- Hugging Face Daily PapersAKV 引入缓存工程管理 LLM 智能体键值缓存
AKV 提出缓存工程方案,通过 drop 和 repos 操作管理 LLM 智能体键值缓存,提升效率与准确性;实验显示,工具响应滚动 drop 缓存策略使平均基准分数提升 1.7 分,成本降低 27.7%,输出吞吐量最高提升 1.2 倍,P95 请求延迟加速 1.5 倍。