实时
HOPE 高阶专家剪枝方法发布
热点事件历史事件
HOPE 高阶专家剪枝方法发布
1 篇报道1 个报道来源9 天前更新
先了解这件事
AI 综述
Hugging Face 发布 HOPE 方法,通过考虑专家间的二阶交互,在混合专家语言模型中实现更优的剪枝效果。50% 剪枝率下,在 agentic coding 任务上比次优方法提升 6.1%。该方法基于 Qwen3.5-122B 等模型验证,每个 MoE 层有 256 个专家,剪枝后减少约 250 GB 内存占用,且与量化兼容。
AI 根据报道生成 · 更新于 9 天前
最新进展11月9日 20:34
HOPE 高阶专家剪枝方法发布报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- Hugging Face BlogHOPE 高阶专家剪枝方法发布
HOPE 方法通过考虑专家间的二阶交互,在混合专家语言模型中实现了更优的剪枝效果,50%剪枝率下在 agentic coding 任务上比次优方法提升 6.1%。该方法基于 Qwen3.5-122B 等模型验证,每个 MoE 层有 256 个专家,剪枝后可减少约 250 GB 内存占用,且与量化兼容。