实时
Zyphra AI 推出 ZHA 注意力机制
热点事件历史事件
Zyphra AI 推出 ZHA 注意力机制
1 篇报道1 个报道来源16 天前更新
先了解这件事
AI 综述
Zyphra AI 推出了 Zyphra 层次注意力 (ZHA),一种基于树状索引器的稀疏注意力方法,旨在解决稀疏注意力中索引器仍需扫描整个上下文的问题。ZHA 可蒸馏到约 4B token 的冻结预训练模型中,在 Qwen3.6-35B-A3B 上,其推理、智能编码和 256K 检索基准测试中接近密集注意力。
AI 根据报道生成 · 更新于 16 天前
最新进展11月3日 09:09
Zyphra AI 推出 Zyphra 层次注意力 (ZHA):通往真正亚二次方注意力的路径报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- MarkTechPostZyphra AI 推出 Zyphra 层次注意力 (ZHA):通往真正亚二次方注意力的路径
Zyphra AI 发布了 Zyphra 层次注意力 (ZHA),一种基于树状索引器的稀疏注意力方法,旨在解决稀疏注意力中索引器仍需扫描整个上下文的已知问题。ZHA 可蒸馏到约 4B token 的冻结预训练模型中,在 Qwen3.6-35B-A3B 上,其推理、智能编码和 256K 检索基准测试中接近密集注意力。