跳到正文
实时

多模态 · 页 2

10月29日周四21–36
  1. 量子位72

    Genspark 发布 Media Studio 视频 Agent 工作台

    Genspark 发布视频 Agent 工作台 Media Studio,接入 20 多家厂商的 70 多个模型版本,由大语言模型担任导演负责写剧本和调度视频、图像、音频模型。

    推荐理由: 作者完整实测了从短剧到知识讲解片的全流程,读者可据此判断多模型编排在真实创作中的完成度与短板。

10月28日周三
  1. MarkTechPost71

    Liquid AI 发布 LFM3:6 个 2B 级开源多模态模型

    据 Hugging Face 博客和 MarkTechPost,每个模型均可在单张 GPU 上微调;文本模型 LFM3-1.7B 为 1.73B 参数、256K 上下文窗口,4-bit 量化下约 1 GB 内存即可运行,可部署在手机、笔记本、私有服务器或云端。MarkTechPost 称免费商用上限为年营收 1000 万美元,完整 128K 上下文需 1.6 GB KV 缓存。IT之家称 LFM-1.7B 参数比上代 LFM2.5-2.6B 减少 35%,性能却更优。

    推荐理由: 6 个 2B 级开源模型共享同一骨干,并给出与 Qwen3.5-9B 等竞品的逐项对比,可据此判断小模型在端侧与智能体任务上的位置。

  2. Hugging Face Blog76

    Liquid AI 发布 LFM3 系列:同一 2B 骨干派生文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,以 LFM3-1.7B-Base 为共享骨干派生六个 2B 级模型,覆盖文本、视觉、音频、全模态和决策,全部在 Hugging Face 开放权重。

    推荐理由: Liquid AI 用同一 2B 级骨干派生六个模态模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线。

  3. Google DeepMind84

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的交互式模拟世界,并以文本提示实时改变天气、镜头和场景元素。Genie 4 首次原生生成环境音与人声对话,角色可实时对话并响应场景事件;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并逐帧校验。

    推荐理由: 官方披露了原生音频、实时文本操控与 Gemini 引导推理三项能力,可据此判断世界模型在机器人与内容预演中的位置。

10月27日周二
  1. IT之家 · AI86

    OpenAI 发布低成本新模型 GPT-6.1 Terra,每项任务成本约为 Claude Opus 5.5 九分之一

    OpenAI 发布新模型 GPT-6.1 Terra,主打以更低成本完成需要视觉推理和操作桌面软件的复杂任务,于 10 月 27 日向 Plus、Pro、Enterprise 和 Edu 用户开放,可在 ChatGPT Work 和 Codex 中使用,API 模型标识为 gpt-6.1-terra。

    推荐理由: 原文给出多项基准与每任务成本对比,读者可据此判断低成本模型在桌面自动化上的取舍。

10月25日周日
  1. The Decoder78

    Nvidia 开源机器人视频标注引擎 Flora,称成本比 GPT-6 Astra 低 125 倍

    Nvidia 开源数据引擎 Flora,用于机器人视频标注,称标注一小时视频约 0.72 美元,而 GPT-6 Astra 约 88.50 美元。Flora 由三个微调的 Qwen3.5 模型组成,分别负责动作分段、带上下文的描述和奖励打分,覆盖动作描述、分步评分与任务成败判断三类标签。

    推荐理由: 原文给出了 Flora 的三类标注能力、成本估算和与 GPT-6 Astra 的逐项对比,读者可据此判断机器人视频标注的开源替代方案边界。

10月24日周六
  1. 腾讯混元 · Hugging Face 新模型71

    腾讯混元开源 Hy-Nomas 交互式世界生成模型 Diffusers 版

    腾讯混元在 Hugging Face 发布 Hy-Nomas 的 BF16 Diffusers 格式蒸馏权重,该视频世界生成模型支持通过文本指令和相机控制进行多轮自由交互,逐段生成同一世界。

    推荐理由: 官方放出蒸馏版 BF16 Diffusers 权重和配套基准,读者可据此判断多轮交互式世界生成的实际用法与门槛。

10月22日周四
  1. 腾讯混元 · Hugging Face 新模型73

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B 系列实时同传模型,支持中英双向语音到语音翻译和实时声音克隆,同时输出译文文本与语音。在 RealSI 长音频评测中 StreamLAAL 约 3 秒,为对比系统中最低,GEMBA 分数超过所比开源模型和 5 个商业 API 中的 4 个。

    推荐理由: 官方给出实时同传的延迟与质量对比,并开放模型权重和推理部署工具,可据此判断落地条件。

  2. 腾讯混元 · Hugging Face 新模型72

    腾讯混元开源实时同传模型 Hy-SimulMT-30B-A3B

    腾讯混元发布并开源实时同声传译模型 Hy-SimulMT-30B-A3B,支持中英双向语音到语音翻译,可在说话过程中持续输出译文文本与语音,并支持实时声音克隆。

    推荐理由: 官方给出实时同传的延迟与质量对比,并开放多个量化版本和推理部署脚本,可据此评估落地成本。

  3. 腾讯混元 · Hugging Face 新模型75

    腾讯混元开源 Hy-SimulMT-30B-A3B 实时同传模型

    腾讯混元发布并开源 Hy-SimulMT-30B-A3B,支持中英双向语音到语音实时同声传译,边接收音频边输出译文文本和语音,并支持实时声音克隆。在 RealSI 长音频评测中,其 StreamLAAL 约为 3 秒,为对比系统中最低,GEMBA 分数高于所比较的开源模型和五个商业 API 中的四个。

    推荐理由: 原文给出中英双向同传的延迟与质量对比数据,并附开源权重和部署方式,可据此判断实时语音翻译的可用程度。

10月21日周三
  1. 腾讯混元 · Hugging Face 新模型78

    腾讯混元开源 Hy-Nomas 交互式世界生成模型

    腾讯混元在 Hugging Face 发布视频世界生成模型 Hy-Nomas,支持通过文本指令和相机控制进行自由形式的多轮交互,逐段生成视频并延续同一世界。模型采用分段自回归 DiT 架构,结合 Qwen2.5-VL-7B 文本编码器、相机条件模块和 PixelUMM 解码器,蒸馏推理配置为 8 步去噪、720×1280 分辨率、24 FPS。

    推荐理由: 腾讯混元开源可多轮交互的世界生成模型,给出架构细节与单卡 4090 部署配置,便于评估落地成本。

10月14日周三
  1. Google AI Blog90

    Google 发布了 Gemini 4 Argon 前沿模型。

    Google 发布了 Gemini 4 Argon,面向开发者、企业和科研人员开放,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由: 官方给出定价、基准排名和多个内部落地案例,可据此判断它在编码与科研工作流中的位置。

8月12日周三