跳到正文
实时
热点事件持续更新

Google DeepMind推出Streaming DiLoCo算法

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Google DeepMind 和 Google Research 推出了 Streaming DiLoCo 算法,通过 MaxText 框架实现跨城市分布式 LLM 训练。该算法将训练分割为 M 个独立计算组,每组执行 H 步本地优化后再进行组间通信,显著减少跨地域网络传输的延迟影响。在 MaxText 框架中,每 H 步计算后同步权重差分的全局优化,Streaming DiLoCo 则进一步将模型参数分 P 片,每 Δh 步同步一片以平滑网络负载,在保持 H 步同步周期下降低 1-2 个数量级通信量。

AI 根据报道生成 · 更新于 5 小时前

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Google Developers Blog
    Google DeepMind 和 Google Research 开发 DiLoCo 算法,通过 MaxText 框架实现跨城市分布式 LLM 训练

    DiLoCo 算法通过将训练分割为 M 个独立计算组,每组执行 H 步本地优化后再进行组间通信,显著减少跨地域网络传输的延迟影响,在 MaxText 框架中实现每 H 步计算后同步权重差分的全局优化,Streaming DiLoCo 则进一步将模型参数分 P 片,每 Δh 步同步一片以平滑网络负载,在保持 H 步同步周期下降低 1-2 个数量级通信量。

本事件热度走势

可比范围当前
5
可比范围峰值
611月20日 03:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。