实时
摩尔线程开源 Megatron-MUSA-Titan
热点事件历史事件
摩尔线程开源 Megatron-MUSA-Titan
1 篇报道1 个报道来源21 天前更新
先了解这件事
AI 综述
摩尔线程开源了 Megatron-MUSA-Titan 项目,该项目基于其全功能 GPU,支持万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习场景,实现高 MFU 与长稳训练。项目支持 blockwise FP8 训练,结合 DeepEP 与 ACE 异步通信引擎加速 Token 分发与结果合并,提升端到端训练效率。该项目已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用,经过长时间训练实践检验,实现高 MFU 与长稳训练,同时支持与 slime、miles 强化学习框架协同,结合 Megatron 训练与 SGLang 样本生成,构建贯通万亿参数 MoE 预训练与强化学习的训练基础。
AI 根据报道生成 · 更新于 21 天前
最新进展10月28日 18:16
摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群万亿参数 MoE 模型训练报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- IT之家 · AI摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群万亿参数 MoE 模型训练
摩尔线程开源 Megatron-MUSA-Titan 项目,支持万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习场景,实现高 MFU 与长稳训练。项目支持 blockwise FP8 训练,结合 DeepEP 与 ACE 异步通信引擎加速 Token 分发与结果合并,提升端到端训练效率。