跳到正文
实时

技术方向

语音与音频

AI语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

13篇精选
13本月
11月14日 21:05更新于
本月仍有更新

最新报道

11月14日周六1–13
  1. 量子位80

    DeepSeek 开放全家桶应用 API,语音接口首次加入

    DeepSeek 宣布正式开放全家桶应用 API,联网搜索、深度思考搜索、文件上传、链接阅读等 App 内功能均提供独立接口,可单独调用、分别计费。语音能力首次加入开放行列,包含 ASR 和 TTS 接口,语音识别原价 0.78 元/小时、现五折 0.39 元/小时,语音合成每万字符 1.5 元。

    推荐理由: 原文列出 DeepSeek 开放的工具接口清单与五折语音定价,读者可据此估算语音助手、文档处理类应用的调用成本。

11月7日周六
11月6日周五
  1. IT之家 · AI72

    Meta 为 AI 助手 Muse 上线实时语音对话与虚拟形象功能

    Meta 宣布个人 AI 助手 Muse 上线实时语音对话与虚拟形象功能,率先面向美国用户推送,覆盖移动端、网页端和 Mac 应用。该功能由 Muse Realtime Voice 与 Muse Realtime Avatar 两个模型支持,可流式输出 448×768 分辨率、25 帧每秒的竖屏视频,从用户说完话到收到首个音视频响应的延迟约为 870 毫秒。

    推荐理由: 原文给出了实时语音与虚拟形象的延迟、分辨率和交互方式,读者可据此判断这类面对面智能体交互的成熟度。

11月5日周四
  1. Hugging Face Blog72

    Phonon TTS 发布端侧语音模型,登顶 Hugging Face 开放 TTS 榜单多项指标

    Phonon 发布可在本地设备运行的小型 TTS 模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个版本,覆盖英语、法语、德语、西班牙语和葡萄牙语。

    推荐理由: 原文交代了端侧 TTS 的模型规格、开源许可与榜单表现,可据此判断小模型在本地语音场景的可用边界。

10月29日周四
  1. IT之家 · AI78

    英伟达开源语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言与 8 人说话人分离

    英伟达于 10 月 28 日推出开放权重语音转录模型 Nemotron 3.5 Transcribe,整合转录、说话人归属、翻译和音频问答,采用 MoE 架构,总参数约 340 亿、激活参数约 43 亿,可处理最长 1 小时录音,支持 40 种语言转录、最多区分 8 名说话人。

    推荐理由: 英伟达开源语音转录模型,公开了参数规模、多语言与说话人分离能力及榜单成绩,可对照现有开源 ASR 方案。

10月28日周三
  1. Hugging Face Blog78

    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合入同一 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。

    推荐理由: 原文给出多语言转写、说话人分离与翻译的统一权重模型,并附开放数据管线和微调配方,可据此判断语音场景的适配路径。

10月25日周日
10月22日周四
  1. 腾讯混元 · Hugging Face 新模型72

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布 Hy-SimulMT 实时同声传译模型,支持中英双向语音到语音翻译,并具备实时声音克隆能力。在 RealSI 长音频评测中,其 StreamLAAL 约为 3 秒,为对比系统中最低,GEMBA 分数超过所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 官方给出实时同传的延迟与质量对比数据,并开放 GGUF 权重和推理部署脚本,可据此评估落地方式。

  2. 腾讯混元 · Hugging Face 新模型73

    腾讯混元开源 Hy-SimulMT 实时同传模型,支持中英双向语音翻译

    腾讯混元发布 Hy-SimulMT 实时同声传译模型,支持中英双向语音到语音翻译,并可在说话过程中持续输出译文文本与语音,同时通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中,其 StreamLAAL 约为 3 秒,为对比系统中最低,GEMBA 分数高于所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 官方给出实时同传的延迟与质量对比,并开放模型权重和推理部署脚本,可据此评估落地方式。

  3. 腾讯混元 · Hugging Face 新模型73

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B 系列实时同传模型,支持中英双向语音到语音翻译和实时声音克隆,同时输出译文文本与语音。在 RealSI 长音频评测中 StreamLAAL 约 3 秒,为对比系统中最低,GEMBA 分数超过所比开源模型和 5 个商业 API 中的 4 个。

    推荐理由: 官方给出实时同传的延迟与质量对比,并开放模型权重和推理部署工具,可据此判断落地条件。

  4. 腾讯混元 · Hugging Face 新模型72

    腾讯混元开源实时同传模型 Hy-SimulMT-30B-A3B

    腾讯混元发布并开源实时同声传译模型 Hy-SimulMT-30B-A3B,支持中英双向语音到语音翻译,可在说话过程中持续输出译文文本与语音,并支持实时声音克隆。

    推荐理由: 官方给出实时同传的延迟与质量对比,并开放多个量化版本和推理部署脚本,可据此评估落地成本。

  5. 腾讯混元 · Hugging Face 新模型75

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B,支持中英双向语音到语音实时同声传译,边接收音频边输出译文文本和语音,并支持实时声音克隆。在 RealSI 长音频评测中,其 StreamLAAL 约为 3 秒,为对比系统中最低,GEMBA 分数高于所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 原文给出中英双向同传的延迟与质量对比数据,并附开源权重和部署方式,可据此判断实时语音翻译的可用程度。