跳到正文
实时
热点事件历史事件

i14 在 AWS Trainium2 上部署 Laplace 3B 模型

1 篇报道1 个报道来源29 天前更新

先了解这件事

AI 综述

i14 将其 24 层解码器 Laplace 3B(3,072D参数,使用 Gated Linear Attention 架构)部署到 AWS Trainium2 上,实现每秒 120,000 个 token 的训练速度和 11,544 个输出 token 的并发推理能力。 AWS Machine Learning Blog 报道了这一部署,未提及具体背景或分歧。

AI 根据报道生成 · 更新于 27 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. AWS Machine Learning Blog
    i14如何在AWS Trainium2上使用原生PyTorch训练和部署Laplace 3B线性注意力模型

    i14 将其 24 层解码器 Laplace 3B(3,072D 参数,使用 Gated Linear Attention 架构)部署到 AWS Trainium2 上,实现每秒 120,000 个 token 的训练速度和 11,544 个输出 token 的并发推理能力。