实时
NVIDIA 发布稀疏注意力设计
热点事件持续更新
NVIDIA 发布稀疏注意力设计
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
NVIDIA 发布研究,共同设计了稀疏注意力机制以实现高效长上下文推理,显著降低 128K token 上下文中的注意力计算成本。该机制针对长上下文推理,因密集注意力机制在 128K token 时可能占用大部分预填充时间。NVIDIA 称,随着上下文长度增加,注意力计算成本线性增长,密集注意力机制在长文本处理中效率低下。 NVIDIA 指出,随着上下文长度从数万 token 增至数百万,注意力计算成为 transformer 层中最昂贵的部分。密集注意力机制计算每个查询与每个键的匹配,导致其计算成本随上下文长度 N 增长。在 128K token 时,密集注意力可能占用大部分预填充时间。
AI 根据报道生成 · 更新于 1 小时前
最新进展11月18日 01:30
NVIDIA 共同设计稀疏注意力机制以实现高效长上下文推理报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- NVIDIA Technical BlogNVIDIA 共同设计稀疏注意力机制以实现高效长上下文推理
NVIDIA共同设计稀疏注意力机制以实现高效长上下文推理,该机制显著降低128K token上下文中的注意力计算成本。注意力计算成本随上下文长度N线性增长,密集注意力机制在128K token时可能占用大部分预填充时间。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。