实时
Google DeepMind推出Streaming DiLoCo算法
热点事件持续更新
Google DeepMind推出Streaming DiLoCo算法
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Google DeepMind 和 Google Research 推出了 Streaming DiLoCo 算法,通过 MaxText 框架实现跨城市分布式 LLM 训练。该算法将训练分割为 M 个独立计算组,每组执行 H 步本地优化后再进行组间通信,显著减少跨地域网络传输的延迟影响。在 MaxText 框架中,每 H 步计算后同步权重差分的全局优化,Streaming DiLoCo 则进一步将模型参数分 P 片,每 Δh 步同步一片以平滑网络负载,在保持 H 步同步周期下降低 1-2 个数量级通信量。
AI 根据报道生成 · 更新于 5 小时前
报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- Google Developers BlogGoogle DeepMind 和 Google Research 开发 DiLoCo 算法,通过 MaxText 框架实现跨城市分布式 LLM 训练
DiLoCo 算法通过将训练分割为 M 个独立计算组,每组执行 H 步本地优化后再进行组间通信,显著减少跨地域网络传输的延迟影响,在 MaxText 框架中实现每 H 步计算后同步权重差分的全局优化,Streaming DiLoCo 则进一步将模型参数分 P 片,每 Δh 步同步一片以平滑网络负载,在保持 H 步同步周期下降低 1-2 个数量级通信量。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 611月20日 03:00
- 近 24 小时变化
- –
0246
03:0004:0005:0006:0007:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。