实时
Google Cloud MaxText 支持在 TPU 上进行长上下文训练
热点事件历史事件
Google Cloud MaxText 支持在 TPU 上进行长上下文训练
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
Google Cloud 发布了 MaxText v0.2.4,支持在 TPU 上进行长上下文训练。通过 MaxText Context Parallelism 技术,在 TPU 5p 上使 Llama 3.1 8B 模型达到 4 百万 token 长度的序列 70% 的 MFU,在 TPU 5p 和 TPU 7 上可无缝扩展至 14 百万 token。Context Parallelism 在 MaxText 中通过将长序列分割到多个芯片上,避免单个芯片持有整个序列的激活信息,此功能已可在 MaxText v0.2.4 中使用。
AI 根据报道生成 · 更新于 9 天前
最新进展11月9日 08:00
Google Cloud MaxText 支持在 TPU 上进行长上下文训练报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- Google Developers BlogGoogle Cloud MaxText 支持在 TPU 上进行长上下文训练
Google Cloud 发布 MaxText v0.2.4,支持在 TPU 上进行长上下文训练,通过 MaxText Context Parallelism 技术,在 TPU 5p 上使 Llama 3.1 8B 模型达到 4 百万 token 长度的序列 70% 的 MFU,在 TPU 5p 和 TPU 7 上可无缝扩展至 14 百万 token