跳到正文
实时
热点事件历史事件

摩尔线程开源 Megatron-MUSA-Titan

1 篇报道1 个报道来源21 天前更新

先了解这件事

AI 综述

摩尔线程开源了 Megatron-MUSA-Titan 项目,该项目基于其全功能 GPU,支持万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习场景,实现高 MFU 与长稳训练。项目支持 blockwise FP8 训练,结合 DeepEP 与 ACE 异步通信引擎加速 Token 分发与结果合并,提升端到端训练效率。该项目已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用,经过长时间训练实践检验,实现高 MFU 与长稳训练,同时支持与 slime、miles 强化学习框架协同,结合 Megatron 训练与 SGLang 样本生成,构建贯通万亿参数 MoE 预训练与强化学习的训练基础。

AI 根据报道生成 · 更新于 21 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. IT之家 · AI
    摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群万亿参数 MoE 模型训练

    摩尔线程开源 Megatron-MUSA-Titan 项目,支持万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习场景,实现高 MFU 与长稳训练。项目支持 blockwise FP8 训练,结合 DeepEP 与 ACE 异步通信引擎加速 Token 分发与结果合并,提升端到端训练效率。