跳到正文
实时
机器之心·收录于· 6 天前65

北大提出MapFlow,让注意力跨模型复用

跨模型上下文交接还要重算KV?北大提出MapFlow,让注意力跨模型复用

要点速览

北大提出MapFlow方法,让注意力跨模型复用避免重复计算。该方法支持模型A规划、模型B细化的多模型协作,在保持效果的同时降低成本。MapFlow通过复用注意力机制中的KV缓存,显著减少计算开销。

来源: 机器之心 · jiqizhixin.com