跳到正文
实时
热点事件历史事件

Deepgram 优化语音 AI 性能

2 篇报道2 个报道来源26 天前更新

先了解这件事

AI 综述

Deepgram 通过 AWS Trainium2 将 Nova-3 语音识别模型部署到 PyTorch,在单个 trn2.3xlarge 实例上运行 8 个副本,处理离线批处理工作负载时每美元可处理 11-70% 更多音频,并使用 NKI 库和 Neuron Explorer/NAD 工具链进行内核级调优,提升推理效率。 亚马逊 Trainium 通过原生 PyTorch 训练体验的重大改进,显著提升其在训练领域的竞争力。Trainium3 支持标准 PyTorch API,无需 XLA 标记即可将大部分 PyTorch 代码迁移至 .to("neuron"),但 BF16 训练体验尚未完善。SemiAnalysis 工程团队测试显示其性能接近 CUDA 生态,但仍有改进空间。

AI 根据报道生成 · 更新于 22 天前

最新进展10月24日 03:06
亚马逊 Trainium 攻占训练市场

事件进展

2 个进展

  1. 10月24日 03:06 · 1 篇报道
    Amazon’s Trainium Takes a Strike at the Training King
    SemiAnalysis:亚马逊 Trainium 攻占训练市场
  2. 10月20日 00:23 · 1 篇报道
    Deepgram优化AWS Trainium的规模化语音AI
    AWS Machine Learning Blog:Deepgram 如何借助 AWS Trainium2 优化语音 AI 性能

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. SemiAnalysis
    亚马逊 Trainium 攻占训练市场

    亚马逊 Trainium 通过原生 PyTorch 训练体验的重大改进,显著提升其在训练领域的竞争力。Trainium3 支持标准 PyTorch API,无需 XLA 标记即可将大部分 PyTorch 代码迁移至 .to("neuron"),但 BF16 训练体验尚未完善。SemiAnalysis 工程团队测试显示其性能接近 CUDA 生态,但仍有改进空间。

10月20日
  1. AWS Machine Learning Blog
    Deepgram 如何借助 AWS Trainium2 优化语音 AI 性能

    Deepgram 通过 AWS Trainium2 将 Nova-3 语音识别模型部署到 PyTorch,在单个 trn2.3xlarge 实例上运行 8 个副本,处理离线批处理工作负载时每美元可处理 11-70% 更多音频,并使用 NKI 库和 Neuron Explorer/NAD 工具链进行内核级调优,提升推理效率。