跳到正文
实时
热点事件历史事件

Prime Intellect 发布 Prime Mega MoE

1 篇报道1 个报道来源20 天前更新

先了解这件事

AI 综述

Prime Intellect 发布了 Prime Mega MoE,一个可训练的融合 MoE 内核,通过增加快速重叠反向传递,使其可用于训练。在 Prime Intellect 的 prime-rl 训练器中,使用 Qwen3 MoE 模型的完整训练步骤速度提升高达 34%,对比 TorchTitan 的提升达到 55%。该技术支持 NVIDIA Hopper(blockwise FP8)和 Blackwell(MXFP8)GPU,并在两者上支持 BF16。发布的数据使用 8×H200 节点,配置 32 到 128 个 GPU。

AI 根据报道生成 · 更新于 20 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. MarkTechPost
    Prime Intellect发布Prime Mega MoE:可训练融合MoE内核,前向传递加速3.11倍

    Prime Intellect发布Prime Mega MoE,在DeepSeek融合Mega MoE内核基础上增加快速重叠反向传递,使其可用于训练。