跳到正文
实时
Hugging Face Blog·· 17 天前精选78

NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

要点速览

NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe，把转写、说话人分离、翻译和音频问答合入同一 checkpoint，支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注，可处理最长 1 小时录音并标注最多 8 位说话人。

Why it matters

原文给出多语言转写、说话人分离与翻译的统一权重模型，并附开放数据管线和微调配方，可据此判断语音场景的适配路径。

正文 · AI 翻译

译文尚不完整，完整内容请切换到原文。

一个用于多语言转录、说话人归属、翻译和音频问答的开源模型，具有顶尖排行榜成绩，并提供开源 Granary v2 数据管道和微调配方以适应它。

一份转录可以捕捉每一句 spoken word，但仍然让用户或应用程序想知道是谁说的什么，如何翻译它，或者如何格式化特定领域的术语。多语言通话、快节奏的会议和医疗口述记录都需要不同的输出：翻译、说话人标签或正确拼写的医疗术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开源权重、可提示的模型，将录音转换为有用的文本，现在可在 Hugging Face 和 ModelScope 上获得。它将转录、说话人归属（说话人分割）、翻译和音频问答集成到一个检查点中：它可以转录 40 种语言，将其中 31 种翻译成或从英语翻译，并在 13 种语言中归属说话人。它可以处理长达一小时的录音，并为最多八个说话人打标签。开发者可以用自然语言指导输出，选择他们的音频在哪里处理，并调整识别以适应领域词汇和口音。

Transcribe 是在 Hugging Face Open ASR Leaderboard 上英语方面首个开源权重的模型，并位于 Artificial Analysis 的准确率-活动参数前沿。对于说话人归属，它在 David AI 的 21 语言说话人分割排行榜 上发布最低错误率，并在 VoiceArena 的 14 系统比较 中排名第一。它可以在单个 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获得）和可重用的策展管道，加上 NeMo Speech 微调工具，将提示级别的控制扩展到训练：开发者可以定义他们需要的书面形式，并调整模型以适应他们的应用程序遇到的语音。在一个 医疗案例研究 中，与最佳提示相比，微调将保留说话人的词错误率 (WER) 相对降低了 45.8%。

用自然语言指导转录和分析

同一个检查点可以根据指令将一个会议录音转换为不同的输出，

  • "转录这个录音并为每个说话人打标签。"
  • "将这个音频翻译成英语。"
  • "在这个会议中做出了哪些决定？"

在下面的视频中体验模型的运行情况，它处理了 1940 年一部著名的黑色喜剧《他的女孩星期五》中的一个经典场景——这部电影以其快速、重叠的对话而闻名。

Nemotron 3.5 Transcribe 为《他的女孩星期五》(1940) 中的一个场景打标签并标记说话人，包括重叠的对话。

对于不熟悉的术语，尝试在训练之前使用上下文。例如，在医疗环境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

The model card has recommended presets, including reasoning for audio questions, plus the full prompt guide and a task-by-language matrix: language support differs by task, and audio question answering is trained in English. Word-level timestamps are also supported. As with any speech model, spot-check names, speaker changes, and answers against the recording.

从直播课到持久的学习。 Agora，其实时语音和视频平台为应用程序中的实时对话提供支持，在一个课堂演示中使用了逐词时间戳：Nemotron 3.5 Transcribe 将录制的课程转换为与回放一起显示的文本，以便学生可以看到说了什么以及何时说的。 Agora 的博客 漫步介绍了他们是如何构建它的。

从转录到说话人归属的排行榜胜利

在开放权重模型中，Transcribe 在说了什么方面领先；在说了谁方面，它在两个说话人归属基准测试中直接排名第一。

Hugging Face Open ASR 排行榜。 排行榜按公共测试集上的单词错误率 (WER) 衡量转录准确性，分为三个赛道：

  1. 英语： 在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
  2. 多语言： 七种语言的平均 WER 为 4.62%，在模型卡中的 Open ASR 比较中，在评估的开放权重模型中最低。
  3. 长文本： 平均 WER 为 10.98%，在该比较中也最低。

Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.

图 1。Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 排行榜（英语）上在开放权重模型中排名第一，平均 WER 为 5.33%，排除了 API 模型。WER 越低表示转录错误越少。

Artificial Analysis 语音转文本排行榜。 Artificial Analysis 通过其单词错误率指标 AA-WER 独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 在开放权重模型中并列第一，AA-WER 为 2.8%，参数量约为 4B，而它并列的模型参数量为 24B。在 AA-AgentTalk 上，该语音代理语音集占 AA-WER 指标的 50%，Transcribe 得分为 1.8%，而下一个最好的开放权重模型的得分为 2.3%。Transcribe 将其语音编码器与混合 Mamba-Transformer 专家混合语言模型配对，因此每个标记大约只有 4B 的 30B 参数是活跃的。这使得它在 Artificial Analysis 的开放权重帕累托前沿上，准确性与活跃参数的权衡上。在 AA 的所有模型图表中，它的排名在几个广泛使用的专有语音 API 之前。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.

图2。领先AA准确率约为活跃参数的六分之一：领先AA准确率：Nemotron 3.5 Transcribe在约4B活跃参数下实现了2.80%的AA-WER。

跨语言和重叠的说话人归属。 Sortformer 说话人提示通过声学特征到达语言模型，因此 Transcribe 可以在生成过程中标记每个回合，而不是完全依赖于后续步骤将说话人与单词关联起来。

David AI DAI-ASR-I18N 排行榜。 在 David AI 的 DAI-ASR-I18N 联合转录和说话人归属赛道 上，Transcribe 在评估的开放权重模型中排名第一，总体排名第二。在该基准测试的说话人分割赛道上，该赛道评分了 21 种语言中谁在何时说话，它在测试的 14 个系统中具有最低的说话人分割错误率，略高于 NVIDIA 的专用 Nemotron 3 分割 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%

图 3。NVIDIA 模型在 David AI 的多语言说话人分割排行榜 上占据前两名：Nemotron 3.5 Transcribe 报告了最低的整体说话人分割错误率 (DER)，在 21 种语言中为 18.26%，其次是 Nemotron 3 分割，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench. 在 VoiceArena 的英语全会话基准测试 中，Transcribe 以 14 个系统的最低组合最小排列 WER (cpWER) 排名第一，并在线下和线上环境中均排名第一。它删除的词语最少：删除的词语占参考词语的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%

图 4. 在 VoiceArena 的 14 系统比较 中，NVIDIA 模型占据前两个位置：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，其次是 NVIDIA Multitalker Parakeet 与 Nemotron 3 Diarization 以 34.2% 排名。Diarization-Bench v1 覆盖英语全会话、重叠语音和 2-8 个说话人。cpWER 在匹配说话人标签后计算词语错误；越低越好。

更多评估。 Ocular AI 的 Converse-STT 评估将 Transcribe 评为顶级开放模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在印度语言中的结果。

从边缘到数据中心。 Transcribe 在单个 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在一台带有 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它可以在不到三分钟内处理 100 小时的音频，测量方法是在高并发情况下对 30 秒的片段进行处理。

使用 vLLM 今天部署检查点，或使用 NeMo-Speech.cpp 本地运行。Transcribe 是为录制音频设计的，不是用于直播。

专业录制仍然可能需要适应领域词汇和转录规范。Granary v2 和 NeMo Speech 微调解决了这个问题，从 Transcribe 背后的数据开始。

Granary v2: Transcribe 背后的开放数据管理管道

一个可提示的语音模型需要具有明确格式目标的训练数据。 Granary v2 是 Hugging Face 和 ModelScope 上的 Nemotron 语音集合 的一部分。使用 NVIDIA NeMo Curator 构建，其可重用的管道准备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，生成了对齐的转录变体、任务标签和可检查的质量元数据。公共清单涵盖 463,062 小时，跨越 48 种语言和 16 个源语料库，与 Granary v1 中的 25 种语言相比有所增加。这些数字描述了数据集发布，而不是 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每个录制生成三种转录形式（表 1），开发人员可以使用提示请求与 Transcribe 相同的逐字转录和干净风格。除了转录之外，该管道还生成简短音频标题、借词的代码转换恢复、基于语音的问答对、上下文 ASR 偏置术语以及带自动质量分数的翻译。

训练目标 说明性转录
文本标准化，逐字转录 我付了，呃，二十五欧元。
反向文本标准化，带不流畅性 我付了，呃，€25。
反向文本标准化，不带不流畅性 我付 €25。

表 1. 相同话语的 Granary v2 训练目标。

该管道分为四个可重用的阶段：

  • 1. 音频准备（元数据）： 切割原始或长格式音频，跨整个录制跟踪说话人，并标记声学事件和语言。Granary v2 的源已经分割，因此本次发布跳过了这个阶段。
  • 2. 转录 (ASR): 将每种语言路由到主要和恢复 ASR 模型，当主要模型在幻觉检查中失败时回退。人类参考转录有助于保留可信的拼写，同时添加口语形式和口吃。
  • 3. 任务标签生成 (文本): 推导转录变体，然后检查字符率、幻觉模式以及模型或人类参考的协议。只有接受的记录才会获得上下文-ASR 术语和翻译。
  • 4. 高保真 (HiFi): 过滤掉嘈杂、剪辑或包含多个说话者的片段，保留较小的高质量录音集用于 ASR 之外的应用。对于 VoxPopuli 数据集，它在 22 种欧洲语言中减少了 354k 小时到 111k 小时。

fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”

图 6. Granary v2 数据管理流程，跟随一个样本从原始音频通过元数据、ASR 和文本阶段到训练示例。

开发者可以在自己的录音或授权的公共语料库上使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流程，或基于 Granary v2 公共清单。清单包括三种转录形式作为 tn_raw、itn_raw 和 itn_clean、上述标签、实体提示、派生指令对、来源和每条记录的质量标志。在每种语料库的原始许可证下单独下载源音频，并遵循发布的发布条款。

适应词汇表的重要性

从一个指定语言、脚本和转录格式的开发集提示开始。在下面的案例研究中，提示中命名英语和拉丁字母将全基准 WER 从 30.8% 减少到 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流程将代表性语音与明确的书面目标配对。

The NeMo Speech 医疗 ASR 案例研究 在 Eka Care 的开放基准 上显示了这一进展，该基准包含印度医生和医学生的录音，有 3,619 个片段，没有指定的训练分割。该研究从生成的医疗文本和公共医学目录中构建适应数据，然后结合大约 153 小时的合成语音、29 小时的 Common Voice 带口音的英语和 63 小时的 MultiMed 医疗录音。

fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图 7. 在 Eka Care 的印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 减少到 23.8%，微调将其降至 11.8%，比开箱模型约减少 62% 的转录错误。完整集包括用于选择提示和检查点的 855 个调整片段；下面的保留结果是更干净的测试。

合成生成将书面目标与其口语表现分开：“HbA1c”是标签，而“H B A one C”被发送到合成器。多个 TTS 声音扩展了音频；真实录音添加了口音和录音条件。训练文本被过滤以匹配确切匹配和与基准参考共享的八词序列。

与 Granary v2 的明确目标一样，训练示例在数字、单位间距、公司名称扩展和品牌名称连字符方面有所不同，指示指定所需的规范。一些提示包含包含近似错误干扰项的术语列表，因此模型学习仅在音频支持时使用拼写。最终系统使用一个固定的规范提示和一个模型传递，没有检索或转录后处理。

该配方训练语音编码器和投影，并使用 LoRA 来适应语言模型。两次运行使用不同的数据混合；在适配器合并后，选定的检查点被均匀平均成一个最终模型。检查点选择使用解码的开发集结果，而不是单独的训练损失。完整的适应，从文本生成到评估，在一个 NVIDIA GB300 上大约花费了 14 个 GPU 小时。

在保留的说话人上测量的领域收益

该研究按说话人将基准分为 855 个调整片段，用于选择提示和检查点，以及 2,764 个保留片段，每个最终系统解码一次。使用 Eka Care 的 KARMA 评分管道，微调将保留的 WER 从最佳提示基线的 22.44% 降低到 12.17%，相对降低了 45.8%，这是收益泛化到新说话人的最明显证据。关键字 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的保留说话人和评分器上，适配模型的 12.17% WER 胜过了一个开源医学专家模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92）。

在通用英语中，LibriSpeech test-clean WER 略微上升，从 1.54% 上升到 1.69%。医学专家在品牌名称药物和诊断的精确匹配方面仍然领先；该研究指出，下一步是临床医生说品牌名称的真实录音。对于您自己的领域，至少保留 100 个真实标记的片段用于检查点选择，并评估您的应用程序依赖的实体类型以及通用语音保留。

案例研究包括用于重现每个步骤的命令。该 微调教程 涵盖配方、资源需求以及用于训练、导出和评估的工具，包括新语言和代码转换 ASR。随附的 代理技能 允许编码代理运行工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还允许开发人员通过其 ms-swift 框架 微调 Nemotron 3.5 Transcribe，用于专门的 多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示 中尝试 Nemotron 3.5 Transcribe，或在 ModelScope Studios 上，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南 来提供它。

要跳过自托管，使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适应到您的领域，从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及 医学 ASR 案例研究 开始，或者让编码代理使用 微调代理技能 驱动工作流。

模型 & 数据集

仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 管道 | vLLM 部署指南 | 语音微调指南 | 微调代理技能
*合作伙伴博客： Agora | Inflection AI | VoiceArena | Simplismart *
本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上的本地 AI 新动态

来源: Hugging Face Blog · huggingface.co

NVIDIA 英伟达语音与音频开源生态模型发布#模型发布#语音与音频#开源/仓库#Hugging Face