实时
Prime Intellect 发布 Prime Mega MoE
热点事件历史事件
Prime Intellect 发布 Prime Mega MoE
1 篇报道1 个报道来源20 天前更新
先了解这件事
AI 综述
Prime Intellect 发布了 Prime Mega MoE,一个可训练的融合 MoE 内核,通过增加快速重叠反向传递,使其可用于训练。在 Prime Intellect 的 prime-rl 训练器中,使用 Qwen3 MoE 模型的完整训练步骤速度提升高达 34%,对比 TorchTitan 的提升达到 55%。该技术支持 NVIDIA Hopper(blockwise FP8)和 Blackwell(MXFP8)GPU,并在两者上支持 BF16。发布的数据使用 8×H200 节点,配置 32 到 128 个 GPU。
AI 根据报道生成 · 更新于 20 天前
最新进展10月30日 02:28
Prime Intellect发布Prime Mega MoE:可训练融合MoE内核,前向传递加速3.11倍报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- MarkTechPostPrime Intellect发布Prime Mega MoE:可训练融合MoE内核,前向传递加速3.11倍
Prime Intellect发布Prime Mega MoE,在DeepSeek融合Mega MoE内核基础上增加快速重叠反向传递,使其可用于训练。