Reson8 开源 0.5B 语音识别模型 Rumble-2-Flash,支持 40 多种语言
Rumble-2-Flash: an open 0.5B speech model for 40+ languages
Reson8 以 Apache 2.0 协议开源 Rumble-2-Flash,这是一个 0.5B 参数的语音识别模型,支持 40 多种语言并自动检测语种,原生支持 Transformers 和 vLLM。
0.5B 语音模型在通话场景与 30B 模型持平,读者可据此判断小模型在语音识别上的能力边界。
今天我们以 Apache 2.0 许可证开源了 Rumble-2-Flash。它是一个 0.5B 参数的 40 多种语言的语音识别模型,与 3-60 倍大小的模型竞争。
- 随处运行:🤗 Transformers 和 vLLM 的原生支持,无需自定义代码
- 40 多种语言:自动语言检测
- 输出控制:数字作为数字或文字,填充词,逐字重复,强制语言
- 极快:一小时音频约在半秒内完成,全批处理超过 7,000 RTFx
- 在真实电话通话中表现良好:在 302 小时的呼叫中心基准测试中,与 NVIDIA 的 Nemotron 3.5 Transcribe (30B) 相当
快速入门
使用 🤗 Transformers 进行转录
uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
language="English", # omit to detect automatically
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0]) # return_format="parsed" if detecting language
audio 接受本地路径、URL、NumPy 数组或这些的列表。
它是如何构建的
Rumble-2-Flash 使用 Qwen3-ASR 架构进行 day-0 支持。如果你的堆栈运行 Transformers 或 vLLM,它就会运行 Rumble-2-Flash,无需分叉的运行时或 trust_remote_code。
为了找出模型在准确率下降前可以小到什么程度,我们将我们的更大生产模型 Rumble-2 通过策略蒸馏蒸馏成它。学生不会训练教师写的转录文本。它转录音频本身,教师逐个标记地评分:在每个位置,它给出下一个应该出现的自己的概率,学生学习匹配它。由于学生从自己的输出中学习,它在它犯的错误上被纠正,每个标记而不是每个片段一个分数提供反馈。
策略蒸馏通常要求教师和学生共享一个分词器,而我们的不共享:选择 Qwen3-ASR 意味着也选择了它的词汇表。GOLD 去除了这个限制。它在两个分词器以不同方式分割文本的地方合并标记,因此两个模型都在同一文本上被比较。存在于两个词汇表中的标记被直接比较,其余的按排序后的概率比较。
结果
与其大小的准确率
在 Open ASR 排行榜 多语言 路径上,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上平均错误率为 6.96%。这比 Meta 的 omniASR-LLM 7B(一个 15 倍大的模型)更好,也领先于 Whisper large-v3。在 英语 路径上,它平均 6.6% WER。
速度
Rumble-2-Flash 也很快。它的吞吐量取决于批次是否满:在 HF 的 Open ASR 排行榜中更大的数据集上,其中批次保持满载,它达到 超过 7,000 RTFx。这意味着大约半秒内处理一小时的音频。
真实电话通话
干净音频很容易。电话通话是压缩的和嘈杂的,并且通常有非常不同的口音的说话者。在 AppTek 的呼叫中心基准测试(302 小时的客服电话,14 种英语口音,使用 AppTek 自己的脚本评分)中,Rumble-2-Flash 达到 7.86% WER,与 NVIDIA 的 Nemotron 3.5 Transcribe (30B) 在 7.78% 处相当。这远超同一家模型系列的 Qwen3-ASR 0.6B (8.7%),并且接近 Qwen3-ASR 1.7B (7.4%),这是比较中唯一表现更好的模型。
试试它
权重位于 Hub 上的 Reson8/Rumble-2-Flash。它也通过我们的 API 可用。
我们非常好奇您将用它构建什么。在 讨论标签页 告诉我们您已制作的内容、您喜欢的内容,以及您希望在下一个版本中看到哪些更改。
来源: Hugging Face Blog · huggingface.co