跳到正文
实时
热点事件历史事件

HOPE 高阶专家剪枝方法发布

1 篇报道1 个报道来源9 天前更新

先了解这件事

AI 综述

Hugging Face 发布 HOPE 方法,通过考虑专家间的二阶交互,在混合专家语言模型中实现更优的剪枝效果。50% 剪枝率下,在 agentic coding 任务上比次优方法提升 6.1%。该方法基于 Qwen3.5-122B 等模型验证,每个 MoE 层有 256 个专家,剪枝后减少约 250 GB 内存占用,且与量化兼容。

AI 根据报道生成 · 更新于 9 天前

最新进展11月9日 20:34
HOPE 高阶专家剪枝方法发布

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. Hugging Face Blog
    HOPE 高阶专家剪枝方法发布

    HOPE 方法通过考虑专家间的二阶交互,在混合专家语言模型中实现了更优的剪枝效果,50%剪枝率下在 agentic coding 任务上比次优方法提升 6.1%。该方法基于 Qwen3.5-122B 等模型验证,每个 MoE 层有 256 个专家,剪枝后可减少约 250 GB 内存占用,且与量化兼容。