实时
Deep Fusion Memory 架构发布
热点事件历史事件
Deep Fusion Memory 架构发布
1 篇报道1 个报道来源27 天前更新
先了解这件事
AI 综述
qwen 发布了 Deep Fusion Memory (DFM),一种面向大语言模型的块级参数化记忆架构。DFM 通过门控交叉注意力将预测的参数化记忆集成到中间隐藏状态,减少检索开销,在无需在线检索的情况下提升知识密集型任务表现。与现有构建 token 级记忆目标的参数化记忆方法相比,DFM 构建训练数据所需的检索查询减少 32 倍,检索项减少 2048 倍。在六个问答任务中,DFM 在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别比最强基线提升 12.71% 和 11.19%。在领域适应方面,DFM 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上分别平均提升 6.51 和 4.38 分。
AI 根据报道生成 · 更新于 27 天前
最新进展10月23日 08:00
Deep Fusion Memory:一种面向大语言模型的块级参数化记忆架构报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- Hugging Face Daily PapersDeep Fusion Memory:一种面向大语言模型的块级参数化记忆架构
Deep Fusion Memory (DFM) 通过门控交叉注意力将预测的参数化记忆集成到中间隐藏状态,减少检索开销,在无需在线检索的情况下提升知识密集型任务表现。