跳到正文
实时
热点事件历史事件

Google Cloud MaxText 支持在 TPU 上进行长上下文训练

1 篇报道1 个报道来源10 天前更新

先了解这件事

AI 综述

Google Cloud 发布了 MaxText v0.2.4,支持在 TPU 上进行长上下文训练。通过 MaxText Context Parallelism 技术,在 TPU 5p 上使 Llama 3.1 8B 模型达到 4 百万 token 长度的序列 70% 的 MFU,在 TPU 5p 和 TPU 7 上可无缝扩展至 14 百万 token。Context Parallelism 在 MaxText 中通过将长序列分割到多个芯片上,避免单个芯片持有整个序列的激活信息,此功能已可在 MaxText v0.2.4 中使用。

AI 根据报道生成 · 更新于 9 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. Google Developers Blog
    Google Cloud MaxText 支持在 TPU 上进行长上下文训练

    Google Cloud 发布 MaxText v0.2.4,支持在 TPU 上进行长上下文训练,通过 MaxText Context Parallelism 技术,在 TPU 5p 上使 Llama 3.1 8B 模型达到 4 百万 token 长度的序列 70% 的 MFU,在 TPU 5p 和 TPU 7 上可无缝扩展至 14 百万 token