实时
Baseten 优化 Qwen3-ASR 实现低成本批量语音转写
热点事件历史事件
Baseten 优化 Qwen3-ASR 实现低成本批量语音转写
1 篇报道1 个报道来源21 天前更新
先了解这件事
AI 综述
Baseten 通过优化 Qwen3-ASR 1.7B 在 Baseten 平台上实现了低成本高吞吐量的批量语音转写。其 vLLM 堆栈在 RTX PRO 6000 上支持 7 倍于标准 vLLM 的吞吐量,最高达 3,128 倍实时因子,通过原生音频解码、FP8 KV 缓存量化及减少主机-设备同步提升性能。
AI 根据报道生成 · 更新于 21 天前
最新进展10月29日 01:39
Baseten 优化 Qwen3-ASR 1.7B 实现低成本高吞吐量批量语音转写报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- Baseten BlogBaseten 优化 Qwen3-ASR 1.7B 实现低成本高吞吐量批量语音转写
Baseten 通过优化 Qwen3-ASR 1.7B(175B 参数、5.4% WER)在 Baseten 上实现每分钟成本最低的批量语音转写,其 vLLM 堆栈在 RTX PRO 6000 上支持 7 倍于标准 vLLM 的吞吐量,最高达 3,128 倍实时因子,通过原生音频解码、FP8 KV 缓存量化及减少主机-设备同步提升性能。