跳到正文
实时
热点事件历史事件

Google Research推出睡眠框架提升LLM持续学习能力

1 篇报道1 个报道来源22 天前更新

先了解这件事

AI 综述

Google Research推出睡眠框架,让LLM通过交替的主动(清醒)和睡眠阶段实现持续学习;睡眠阶段利用MoE和Hope架构进行参数扩展与知识蒸馏,将短期记忆整合为长期参数,支持高达10M token的长上下文知识保留和复杂推理能力提升。该框架旨在解决LLM在持续学习中的灾难性遗忘问题,通过记忆巩固和做梦两个阶段实现知识的长期保留和适应。

AI 根据报道生成 · 更新于 22 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Google Research
    Google Research 推出睡眠框架:一种让 LLM 在持续学习中获得知识的新方法

    Google Research 提出睡眠框架,让 LLM 通过交替的主动(清醒)和睡眠阶段实现持续学习;睡眠阶段利用 MoE 和 Hope 架构进行参数扩展与知识蒸馏,将短期记忆整合为长期参数,支持高达 10M token 的长上下文知识保留和复杂推理能力提升。