NVIDIA 发布 Nemotron 3.5 Transcribe 开源语音模型，支持 40 种语言转写

NVIDIA 发布了 Nemotron 3.5 Transcribe，这是一个用于语音转写的开放权重语言模型。一个模型可以处理 40 种语言和长达 1 小时的录音。文本指令为每个请求选择输出样式。选项包括逐字记录、书面形式、说话人归属、上下文和翻译输出。对于开发者来说，它可以替代单独的 ASR、说话人分割和对齐工具。

简而言之

大小： 总共 34B，大约 4.3B 个活跃参数；65,536 个 token 的上下文；音频长达 1 小时。
运行在： 1x H100 80 GB，使用 BF16。存在 FP8（大约 35 GB）和 NVFP4（大约 21 GB）检查点；NVFP4 在 RTX 5090 上运行。GGUF 文件针对 NeMo-Speech.cpp。
性能： 英语和多语言 Open ASR 排行榜上最好的开放权重模型；顶级商业 API 仍然领先。
最佳： 在 9 个公共英语 Open ASR 集合上的平均 WER 为 4.71%（下一个开放模型：4.94%）。
最差： 在阿里会议普通话远场会议上的 cpCER 为 34.95%。
总结： 最好的地方：1 个开放模型可以处理转写、说话人标签、时间戳和翻译。最糟糕的地方：仅限离线使用，普通话会议准确率较弱。

Nemotron 3.5 Transcribe 是什么？

Nemotron 3.5 Transcribe 是 NVIDIA 开发的语音增强语言模型 (SALM)，将音频和指令转换为文本。音频编码器将嵌入输入到 LLM 解码器中，这使得转写可以提示。NVIDIA 的技术研究报告认为，没有单一的正确转写。数字、填充词和领域术语取决于谁阅读输出。NVIDIA 将该模型定位为转写专家，而不是通用助手。

架构是如何工作的？

它有三个部分：

并行专家编码器： 一个可训练的 0.6B Transformer ASR 编码器旁边运行一个冻结的 Nemotron 3 Diarization 模型。说话人分割器可以跟踪最多 8 个说话人。它的说话人活动每 80 毫秒添加到 ASR 特征中。因此，LLM 可以看到谁在何时说话，而无需更改架构。
LLM 主干： Nemotron 3.5 Lightning 30B-A3B，一个混合 Mamba-Transformer MoE。它有 52 层：23 层 Mamba-2，23 层 MoE，只有 6 层注意力层。每个 MoE 层路由到 128 个专家中的 6 个加上 1 个共享专家。较少的注意力层使 KV 缓存保持较小，适用于长达一小时的音频。
附加功能： 一个共享的多 token 预测 (MTP) 层为推测解码起草 token。一个 50M 参数的 CTC 适配器将完成的转写与音频对齐，以获取单词时间戳。

模型名称是 30B-A4B，但检查点包含大约 34B 个参数。额外的权重来自 1.3B 的 MTP 模块和音频组件。

训练使用了 256 个 H100 GPU 上的 1 个监督微调阶段，共 28,500 步。随后是一个短期的强化学习阶段：400 GSPO 更新，奖励为 1 减去 WER。模型接触了大约 1.72M 小时的独特音频，或重复 6.5M 小时。

它在基准测试中的表现如何？

以下所有数字均由 NVIDIA 在技术报告中自行报告。

英语 Open ASR (9 个公共集合)： 平均 WER 为 4.71%。下一个开放模型，Qwen3-ASR-1.7B，得分为 4.94%。仍有 7 个商业系统领先，其中 OtterAI speech-v3.1 领先，得分为 3.88%。
多语言开放语音识别（7种语言）： 4.62% 平均词错误率，对比 Qwen3-ASR-1.7B 的 6.49%。ElevenLabs Scribe v2 达到 3.56%。
长文本语音识别： 10.98% 平均词错误率，对比 Parakeet-TDT-0.6B-v3 的 13.37%。
多说话人、完整会话： 15.80% 平均连续词错误率，对比 DiCoW v3.3 与 DiariZen 的 16.83%。NVIDIA 称其是首个在此方面击败级联系统的 SALM。
上下文语音识别： 一个实体列表将 ContextASR-Bench 中的命名实体词错误率从 12.21% 降低到 2.20%。

如何部署 Nemotron 3.5 Transcribe？

权重以 BF16、FP8、NVFP4 和 GGUF 格式提供。一个 DFlash2 草稿模型是可选的。The OpenMDW-1.1 许可证允许商业使用。

运行时包括 vLLM 0.32.0，带有 NeMo Speech 插件、Transformers 和 SGLang-Omni 0.2.0。vLLM 提供一个 OpenAI 兼容的 API。

NVIDIA 模型的速度主要来自其 Nemotron Transcribe NIM。使用 NVFP4 和 DFlash2，1 台 RTX PRO 6000 Blackwell Server Edition 每秒可转录 2,238 秒音频。它能在 0.13 秒内返回一个 30 秒的片段。有一个缺点：这些服务优化尚未开源。NVIDIA 预计发布日的 vLLM 路径将慢约 2 倍。在 1 台 H100 上使用 BF16 和 MTP2，NVIDIA 估计约 410 RTFx。

对于微调，NVIDIA 测试了 17 个任务。每个任务在单个 GB300 上大约需要 0.5 到 2.3 GPU 小时。

与其他开放语音识别模型相比如何？

特性	Nemotron 3.5 Transcribe	Qwen3-ASR-1.7B	Canary-Qwen-2.5B	Whisper-large-v3
参数	34B 总计，~4.3B 活跃	1.7B	2.5B	1.55B
语言	40	30 + 22 中国方言	仅英语	99 (HF 标签)
每请求最大音频时长	1 小时	未披露	训练中 40 秒	30 秒窗口，长文本分块
说话人归属	内置，最多 8 个说话人	未列出	未列出	未列出
词时间戳	内置 (CTC 适配器)	通过单独的 ForcedAligner-0.6B	未列出	是，词级
许可证	OpenMDW-1.1	Apache-2.0	CC-BY-4.0	Apache-2.0
英语开放语音识别，9 个公共数据集（平均词错误率，越低越好）	4.71%	4.94%*	5.38%*	6.66%*
在自家模型卡上的开放语音识别平均词错误率（较早的排行榜设置）	未报告	5.76%	5.63%	7.44%
7 种语言的开放语音识别（平均词错误率）	4.62%	6.49%*	不适用（仅英语）	7.94%*
参考硬件	1x H100 80 GB (BF16)	未披露	在 A6000、A100、RTX 5090 上测试	未披露

*当前 9 集合排行榜上的竞争对手分数来自 NVIDIA 的报告，引用自 2026 年 10 月的 Hugging Face 排行榜结果。竞争对手发布自己的卡后，排行榜集已更改，因此 2 行 WER 不互换。

关键要点

一个开放模型处理转录、说话人、时间戳和 40 种语言的翻译。
4.71% 的英语词错误率是最佳开放权重分数；商业 API 仍然领先。
约 4.3B 活跃参数；BF16 可适配 1 台 H100，NVFP4 可适配 RTX 5090。
一个实体列表将命名实体词错误率从 12.21% 降低到 2.20%。
仅限离线使用；普通话会议和代码转换仍然是薄弱环节。

查看 技术报告, 模型权重, 项目页面 和 在线演示。此外，欢迎关注我们的推特，别忘了加入我们的15万+机器学习SubReddit并订阅我们的简报。等等！你使用电报吗？现在你也可以加入我们的电报群。

需要与我们合作推广您的 GitHub 仓库 OR Hugging Face 页面 OR 产品发布 OR 网络研讨会等？联系我们

文章 NVIDIA 发布 Nemotron 3.5 Transcribe：一个开放 30B MoE 模型，用于 40 种语言的转录，约 4B 活跃参数首次出现在 MarkTechPost。