跳到正文
实时
#语音
10月27日周二
  2. IT之家 · AI

    Ollama Mac 版新增离线生成 AI 语音：数据不出门，速度比原方案最高快 35%

    Ollama 于 10 月 24 日宣布其 Mac 应用正式支持文本转语音（TTS）生成，首个支持的语音模型是 Gradium 开发的 Phonon 系列，用户无需依赖云端服务，可在 Apple Silicon Mac 上运行。在搭载 M5 Max 芯片的 MacBook Pro 上，Phonon 语音生成速度比 Gradium 自身实现快 35%，并支持实时语音生成。

    同一件事 · 2 家
10月25日周日
  1. Ollama Blog62

    Ollama上线语音模型，首发Phonon文本转语音

    Ollama新增文本转语音能力，首个接入的语音模型是Gradium的小型TTS模型家族Phonon，目前支持macOS、Windows和Linux，支持即将推出。

    同一件事 · 2 家

    推荐理由: 原文给出Ollama接入语音模型后的吞吐对比、准确率与OpenAI兼容接口，可据此判断本地TTS的落地方式。

  2. IT之家 · AI62

    Block 推出全双工 AI 语音模型 Dessa：真人感拉满，支持苹果 MacBook 本地运行

    Block 推出 AI 语音模型 Dessa，完全基于人类语音数据训练，支持本地运行于 M4 Max 及更高配置的 MacBook，可模拟笑声、停顿、哽咽等情绪表达，听感高度拟人。Dessa 属于全双工模型，可一边说话一边收听用户语音，自身知识来源于训练所用的对话数据。现阶段暂不对外开放试用，Block 正向安全研究者发出测试邀请。

    同一件事 · 5 家

    各家口径不同：The Verge 提及模型对话偶有'生硬和诡异'表现；The Decoder 和 TechCrunch 没有提到这一点。

  4. TechCrunch · AI

    Block 公司发布 Dessa 全双工语音模型

    Block 公司发布 Dessa 语音模型，该模型完全基于人类语音训练，能在消费级 GPU 上本地运行，支持同时说话和聆听，通过真实对话数据获取知识，表达包含笑声、停顿和哭泣等人类情感，目前无法公开访问，公司正在招募安全研究员测试。

    同一件事 · 5 家

    各家口径不同：The Verge 提及模型对话偶有'生硬和诡异'表现；The Decoder 和 TechCrunch 没有提到这一点。

10月24日周六
  1. The Decoder58

    块公司全新 AI 语音模型 Dessa 完全基于人类语音训练以捕捉文本模型忽略的情绪

    块公司推出 AI 语音模型 Dessa，该模型完全基于人类语音训练，不使用任何文本数据，直接处理音频以实时捕捉情绪、讽刺、笑声和停顿，支持全双工通信，可在 MacBook Pro M4 Max 上本地运行，由单个 NVIDIA GB200 NVL72 训练，目前尚未公开可用，团队正在招募 AI 安全研究人员进行测试。

    同一件事 · 5 家

    各家口径不同：The Verge 提及模型对话偶有'生硬和诡异'表现；The Decoder 和 TechCrunch 没有提到这一点。

  4. The Verge · AI65

    Jack Dorsey’s Block 发布 Dessa AI 模型：仅基于人类对话训练的语音交互模型

    Block发布仅基于人类对话训练的AI模型Dessa，展示的对话偶有生硬和诡异表现；该模型为“纯语音到语音模型”，可在MacBook Pro M4 Max或更优设备本地运行，旨在通过语音交互提升人机理解与安全。

    同一件事 · 5 家

    各家口径不同：The Verge 提及模型对话偶有'生硬和诡异'表现；The Decoder 和 TechCrunch 没有提到这一点。

  5. Amazon Science

    Audible 技术团队开发新型可控语音合成技术提升有声读物体验

    Audible 技术团队开发新型可控语音合成技术，通过结合大型语言模型（LLM）和三项创新技术提升有声读物体验：1）开发数据合成管道生成带语音特征描述的语音数据，训练模型理解描述并生成匹配音频；2）创建自动分析书籍角色并识别对话的系统，准确率达 97%，为模型提供舞台指示；3）在 MUSHRA 测试中使对话区分度提升 3.7 分，英语和西班牙语测试中八成声音体验显著改善。

10月23日周五
  1. Hugging Face Daily Papers38

    Heartbeat 思考：实时语音代理中的推测推理与工具执行

    Heartbeat 思考通过在语音更新期间继续准备工具调用，提升了语音代理的覆盖率和响应速度。该技术使语音代理在用户说话时就开始准备工具调用，解决了传统方法因语音更新而中断调用的限制。在 FDBench v3 基准测试中，Heartbeat 思考将工具覆盖率提高了 16 个百分点，并将平均最终响应延迟降低了 36.4%。

  3. AWS Machine Learning Blog48

    Amazon Polly 生成式引擎升级：更自然、准确的语音输出

    Amazon Polly Generative engine 升级后提供更自然、准确的语音输出，新增 14 个声音（跨 9 个地区），首次将印地语和芬兰语实现通用可用。升级为即插即用，API 调用和声音名称不变，现有应用无需修改。支持基于文本上下文的情感和韵律表达，新增语言为印地语（Arjun/Kiara）、芬兰语（Suvi），总共有 57 个生成声音（11 种语言/25 个地区），价格不变。

10月22日周四
  2. MarkTechPost

    Mistral AI 发布 Voxtral 3：语音转文本、文本转语音及语音智能体 SDK

    Mistral AI 发布了 Voxtral 3 语音模型家族及基于 LiveKit 的语音智能体 SDK，包含 3 个转录模型、1 个文本转语音模型。

    同一件事 · 3 家

    各家口径不同：The Decoder 提到文本转语音模型（Voxtral Mini TTS 3），而第一份报告没有详细说明。

  3. 腾讯混元 · Hugging Face 新模型72

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布 Hy-SimulMT 实时同声传译模型，支持中英双向语音到语音翻译，并具备实时声音克隆能力。在 RealSI 长音频评测中，其 StreamLAAL 约为 3 秒，为对比系统中最低，GEMBA 分数超过所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 官方给出实时同传的延迟与质量对比数据，并开放 GGUF 权重和推理部署脚本，可据此评估落地方式。

  4. 腾讯混元 · Hugging Face 新模型73

    腾讯混元开源 Hy-SimulMT 实时同传模型，支持中英双向语音翻译

    腾讯混元发布 Hy-SimulMT 实时同声传译模型，支持中英双向语音到语音翻译，并可在说话过程中持续输出译文文本与语音，同时通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中，其 StreamLAAL 约为 3 秒，为对比系统中最低，GEMBA 分数高于所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 官方给出实时同传的延迟与质量对比，并开放模型权重和推理部署脚本，可据此评估落地方式。

  5. 腾讯混元 · Hugging Face 新模型73

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B 系列实时同传模型，支持中英双向语音到语音翻译和实时声音克隆，同时输出译文文本与语音。在 RealSI 长音频评测中 StreamLAAL 约 3 秒，为对比系统中最低，GEMBA 分数超过所比开源模型和 5 个商业 API 中的 4 个。

    推荐理由: 官方给出实时同传的延迟与质量对比，并开放模型权重和推理部署工具，可据此判断落地条件。

  7. 腾讯混元 · Hugging Face 新模型72

    腾讯混元开源实时同传模型 Hy-SimulMT-30B-A3B

    腾讯混元发布并开源实时同声传译模型 Hy-SimulMT-30B-A3B，支持中英双向语音到语音翻译，可在说话过程中持续输出译文文本与语音，并支持实时声音克隆。

    推荐理由: 官方给出实时同传的延迟与质量对比，并开放多个量化版本和推理部署脚本，可据此评估落地成本。

  8. 腾讯混元 · Hugging Face 新模型75

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B，支持中英双向语音到语音实时同声传译，边接收音频边输出译文文本和语音，并支持实时声音克隆。在 RealSI 长音频评测中，其 StreamLAAL 约为 3 秒，为对比系统中最低，GEMBA 分数高于所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 原文给出中英双向同传的延迟与质量对比数据，并附开源权重和部署方式，可据此判断实时语音翻译的可用程度。

  10. Sierra Blog75

    𝜏-i18n 发布：跨语言语音代理评估扩展至五国语言

    𝜏-i18n 将 𝜏-Voice 扩展至西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言，使用航空、零售和电信任务评估跨语言性能。评估包含任务完成度、交互效果和生成质量三维度，结果显示韩语表现最弱，GPT Live 1 任务完成和生成质量最高，Grok Voice Think Fast 2.0 交互最佳但生成质量低。

10月21日周三
  2. The Decoder72

    Mistral AI 发布实时语音智能体全栈 Voxtral 3

    Mistral AI 发布实时语音智能体全栈 Voxtral 3，包含语音转文本模型（Voxtral Small Transcribe 3）、文本转语音模型（Voxtral Mini TTS 3）及基于 LiveKit 的语音智能体 SDK。

    同一件事 · 3 家

    各家口径不同：The Decoder 提到文本转语音模型（Voxtral Mini TTS 3），而第一份报告没有详细说明。

  4. TechCrunch · AI55

    Yelp 推出 Check for Me 功能，可代用户致电餐厅查询等候时间

    Yelp 新增 Check for Me 功能，用户可在应用内输入人数和电话，由AI代理致电餐厅查询等候时间并短信告知结果；同时更新AI助手整合 OpenTable 支持预订，并增强个性化与历史记录功能；推出付费产品 Smart Lead Reply 帮助商家自动回复客户并筛选潜在客户，每月收费30美元。

10月20日周二
  1. Mistral AI

    Mistral AI 推出 Voxtral 3 语音代理 SDK 和尖端语音模型

    Mistral AI 推出 Voxtral 3，包含 50+ 语言实时多步对话的尖端语音模型和语音代理 SDK，其语音转文本模型 Voxtral Small Transcribe 3 在 FLEURS 45 基准中 Forced WER 0.9%。

    同一件事 · 3 家

    各家口径不同：The Decoder 提到文本转语音模型（Voxtral Mini TTS 3），而第一份报告没有详细说明。

10月19日周一
10月14日周三
  1. 蚂蚁 inclusionAI · Hugging Face 新模型

    inclusionAI/Ming-3.0-asr-tiny 发布：支持多语言方言的上下文感知语音识别模型

    inclusionAI/Ming-3.0-asr-tiny 结合 Ling-tiny-v3 语言主干和音频编码器，支持单轮中英语音转写及15种方言识别，通过热词或对话上下文提升专业术语识别率，模型参数量未提及，在嘈杂语音和5个应用领域完成评测，提供PyTorch/Transformers推理示例及MIT授权。

10月13日周二