跳到正文
实时
热点事件持续更新

NVIDIA 发布稀疏注意力设计

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

NVIDIA 发布研究,共同设计了稀疏注意力机制以实现高效长上下文推理,显著降低 128K token 上下文中的注意力计算成本。该机制针对长上下文推理,因密集注意力机制在 128K token 时可能占用大部分预填充时间。NVIDIA 称,随着上下文长度增加,注意力计算成本线性增长,密集注意力机制在长文本处理中效率低下。 NVIDIA 指出,随着上下文长度从数万 token 增至数百万,注意力计算成为 transformer 层中最昂贵的部分。密集注意力机制计算每个查询与每个键的匹配,导致其计算成本随上下文长度 N 增长。在 128K token 时,密集注意力可能占用大部分预填充时间。

AI 根据报道生成 · 更新于 1 小时前

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. NVIDIA Technical Blog
    NVIDIA 共同设计稀疏注意力机制以实现高效长上下文推理

    NVIDIA共同设计稀疏注意力机制以实现高效长上下文推理,该机制显著降低128K token上下文中的注意力计算成本。注意力计算成本随上下文长度N线性增长,密集注意力机制在128K token时可能占用大部分预填充时间。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。