跳到正文
实时
热点事件历史事件

Zyphra AI 推出 ZHA 注意力机制

1 篇报道1 个报道来源16 天前更新

先了解这件事

AI 综述

Zyphra AI 推出了 Zyphra 层次注意力 (ZHA),一种基于树状索引器的稀疏注意力方法,旨在解决稀疏注意力中索引器仍需扫描整个上下文的问题。ZHA 可蒸馏到约 4B token 的冻结预训练模型中,在 Qwen3.6-35B-A3B 上,其推理、智能编码和 256K 检索基准测试中接近密集注意力。

AI 根据报道生成 · 更新于 16 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. MarkTechPost
    Zyphra AI 推出 Zyphra 层次注意力 (ZHA):通往真正亚二次方注意力的路径

    Zyphra AI 发布了 Zyphra 层次注意力 (ZHA),一种基于树状索引器的稀疏注意力方法,旨在解决稀疏注意力中索引器仍需扫描整个上下文的已知问题。ZHA 可蒸馏到约 4B token 的冻结预训练模型中,在 Qwen3.6-35B-A3B 上,其推理、智能编码和 256K 检索基准测试中接近密集注意力。