跳到正文
实时
热点事件历史事件

AKV 引入缓存工程管理 LLM 智能体键值缓存

2 篇报道2 个报道来源24 天前更新

先了解这件事

AI 综述

AKV 通过 drop 和 repos 操作管理 LLM 智能体键值缓存,提升效率与准确性。实验显示,工具响应滚动 drop 缓存策略使平均基准分数提升 1.7 分,成本降低 27.7%,输出吞吐量最高提升 1.2 倍,P95 请求延迟加速 1.5 倍。AKV 通过 GitHub 仓库 https://github.com/thu-nics/AKV 提供 code,称引入缓存工程管理 LLM 智能体键值缓存,不改变轨迹,提升效率与准确性。清华大学和港大研究人员开源 AKV,为 LLM 智能体提供 KV 缓存工程服务。

AI 根据报道生成 · 更新于 24 天前

事件进展

2 个进展

  1. 10月26日 15:56 · 1 篇报道
    Tsinghua AI Open-Sources AKV
    MarkTechPost:清华大学开源 AKV,为 SGLang 上 LLM 智能体提供缓存工程服务器
  2. 10月22日 08:00 · 1 篇报道
    智能体缓存工程
    Hugging Face Daily Papers:AKV 引入缓存工程管理 LLM 智能体键值缓存

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. MarkTechPost
    清华大学开源 AKV,为 SGLang 上 LLM 智能体提供缓存工程服务器

    清华大学和港大研究人员开源 AKV,为 LLM 智能体提供 KV 缓存工程服务。通过丢弃选定缓存条目并重用其余部分,在 3 个模型和 4 个智能体基准测试中,平均成本降低 27.7%,平均任务分数提升 1.7 分。

10月22日
  1. Hugging Face Daily Papers
    AKV 引入缓存工程管理 LLM 智能体键值缓存

    AKV 提出缓存工程方案,通过 drop 和 repos 操作管理 LLM 智能体键值缓存,提升效率与准确性;实验显示,工具响应滚动 drop 缓存策略使平均基准分数提升 1.7 分,成本降低 27.7%,输出吞吐量最高提升 1.2 倍,P95 请求延迟加速 1.5 倍。