Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频

Google DeepMind 将 Genie 4 作为研究预览版发布给受信任的测试者。Genie 4 世界模型能根据文本和图像提示实时生成可探索的世界。它还能生成音景：环境噪音、音乐和角色对话。用户通过键盘控制移动，并使用简单语言提示引导事件。更大的变化是架构上的。现在一个 Gemini 模型在模拟循环中作为规划者运行。这种模式对任何正在为代理或机器人构建训练环境的人来说都很重要。

简而言之

运行于： 仅限 Google 主机（Project Genie 网页应用，Gemini API 早期访问）。
性能： 具有原生音频和实时文本引导的真实感世界。
最佳： 场景一致性长达 2 分钟，是 Genie 3 的两倍，根据 TechCrunch 的简报。
最差： 会话持续几分钟，在重复提示编辑后对象会漂移。

Genie 4 是什么？

Genie 4 是 Google DeepMind 的一个世界模型，能逐帧模拟交互式环境。它不是视频片段生成器。每一帧都会根据到达的用户输入做出响应。

DeepMind 表示该模型是原生多模态的。音频、音乐和对话与视觉效果一起生成。这是 DeepMind 首个能原生生成音频的实时世界模型。

它接替了 2025 年 8 月宣布的 Genie 3。Genie 3 以 720p 和 24 帧/秒运行，视觉记忆可回溯 1 分钟。

Genie 4 如何使用 Gemini？

Genie 4 借鉴了 Gemini 家族的两个部分。 Gemini Omni 锚定了每个世界的外观和行为。其他 Gemini 模型处理保持模拟连贯性的推理。

运行时循环如下：

解释： 当你输入提示时，Gemini 会将其调整为适合正在运行的场景。
计划： Gemini 3.8 Flash 将目标分解为一系列步骤。
验证： 它会检查传入的帧以确认每一步都成功了。
适应： 如果世界发生变化或你进行干预，它会修订计划。

在用户输入之间，Gemini 还会引导场景，使世界保持进展。DeepMind 团队将其视为迈向混合世界模型的早期步骤。在该设计中，语言模型处理结构和叙事，而 Genie 渲染像素和声音。

你可以在 Genie 4 世界中做什么？

用文本引导： 你可以改变天气、移动相机或在会话中途添加新的人或对象。
模拟物理和人物： DeepMind 提到了空气动力学和碰撞。它称人类动作为最大的飞跃，角色会对周围环境做出反应。
听到世界： 每个世界都有环境音频。角色还可以进行对话，这些对话会根据你的输入实时做出反应。
测试机器人任务： 在一个研究演示中，Gemini 4 Argon 将跳棋任务分解为步骤。Genie 4 将每个步骤作为文本标题接收，并模拟 Apptronik 的 Apollo 机器人玩游戏。

Genie 4 与其他世界模型相比如何？

DeepMind 没有为 Genie 4 发布基准表格。下表仅使用每个项目自己来源中披露的规格进行比较。

特性	Genie 4	Genie 3	Runway GWM Worlds 2	Skywork Matrix-Game 3.0
发布	2026年10月27日	2025年8月5日	2026年9月3日	2026年3月27日
参数	未披露	未披露	未披露	5B（含2x14B MoE变体）
分辨率 / FPS	未披露	720p / 24 fps	720p / 24 fps	720p / 最高40 fps
原生音频	是，包含对话	未报告	是，48 kHz，包含语音	未报告
会话中文字控制	是，通过Gemini中介	是，可触发世界事件	是，带时间戳的文字操作	键盘和鼠标操作
LLM规划器在循环中	Gemini 3.8 Flash	否	否（可选外部 harness）	否
一致性	几分钟；每篇TechCrunch 2分钟	几分钟；1分钟视觉记忆	无预设长度；记忆不完美	分钟级记忆
硬件	由Google托管，未披露	由Google托管，未披露	由Runway托管，未披露	8个GPU用于DiT，另加1个用于VAE
访问 / 许可	可信测试者；AI Ultra和API即将推出	Project Genie（AI Ultra）	研究预览，联系表	MIT，开放权重

谁可以使用Genie 4，以及何时？

Genie 4今天对可信测试者开放。根据DeepMind的说法，预计很快将向Google AI Ultra订阅者在Project Genie中提供。Gemini API的早期访问合作伙伴和Google AI Studio的下一个。

所有Genie 4视频和音频都将带有SynthID水印。DeepMind表示，在预览之前进行了内部安全评估。

迄今为止的测试者涵盖创意产业、新闻、教育、游戏和工程。

报告的使用包括：

电影制作人运行多个实时‘拍摄’以进行预可视化。
摄影记者将单张档案照片变成有根据的模拟。
游戏开发者在编写引擎代码之前测试风格和机制。
企业合作伙伴生成零到一的模拟场景。

Genie 4的局限性是什么？

DeepMind在Genie 4模型页面上列出了几个开放问题：

在较长时间的会话中，视觉细节和对象持久性会在复杂的提示编辑后或导航期间漂移。
交互仅限于几分钟，不是长时间会话。
现实世界位置没有完美模拟。
可读文本通常仅在它是输入描述中时才出现。
实时音频准确性和多代理交互仍然是未解决的问题。

关键要点

Genie 4实时生成世界、环境音频和对话。
Gemini 3.8 Flash计划、检查帧并在循环中重新规划。
未披露参数、分辨率、帧率或基准。
访问从可信测试者开始，然后是AI Ultra和Gemini API合作伙伴。
漂移和短会话仍然是主要的实际限制。

查看Genie 4公告，Genie 4模型页面和Project Genie候补名单。此外，请随时关注我们在Twitter上的动态，别忘了加入我们的150k+ML SubReddit并订阅我们的Newsletter。等等！你用Telegram吗？现在你也可以加入我们了。

需要与我们合作推广您的GitHub存储库OR Hugging Face页面OR产品发布OR网络研讨会等？联系我们

Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio首次出现在MarkTechPost。