跳到正文
实时
热点事件历史事件

TokenGate 提升长上下文预填充速度

1 篇报道1 个报道来源24 天前更新

先了解这件事

AI 综述

斯坦福和伯克利研究者推出 TokenGate 模块,通过学习型 token 剪枝技术,使长上下文预填充速度提升 1.4 至 11.3 倍且不损失精度,峰值预填充内存消耗降低 1.5 至 3.4 倍,在 5 项任务上优于 6 个基线模型,最佳表现时 NIAH 16k 任务速度提升 11.3 倍、内存降低 3.42 倍,代码和检查点已开源。

AI 根据报道生成 · 更新于 24 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. MarkTechPost
    斯坦福和伯克利研究者推出 TokenGate:令长上下文预填充速度提升高达 11.3 倍

    斯坦福和伯克利研究者推出 TokenGate 模块,通过学习型 token 剪枝技术,使长上下文预填充速度提升 1.4 至 11.3 倍且不损失精度,峰值预填充内存消耗降低 1.5 至 3.4 倍,在 5 项任务上优于 6 个基线模型,最佳表现时 NIAH 16k 任务速度提升 11.3 倍、内存降低 3.42 倍,代码和检查点已开源。