Google DeepMind 发布世界模型 Genie 4

2026年10月27日 模型

Raia Hadsell, Diego Rivas 和 Hang Qi

今天，我们宣布推出 Genie 4，我们的新一代世界模型，它解锁了前所未有的逼真效果并改进了实时交互模拟。Genie 4 本地支持多模态，能够同时生成与世界同步的类似音频的音乐、环境噪音和交互式对话。

Genie 4 模型集成了 Gemini 家族的能力并在此基础上进行扩展：Gemini Omni 将模拟锚定在现实世界的 appearance 和 behavior 上，而其他 Gemini 模型则提供复杂的推理能力，以帮助维持模拟的连贯性和连续性。

有了这个基础，您可以启动一个事件，Genie 4 将模拟接下来会发生什么：世界如何响应，声音如何，以及其中的人物如何移动、反应和说话。

理解和模拟世界是构建 AGI 的关键方面。Genie 4 提升了我们创建安全、无限可变模拟的能力，这些模拟可以帮助从为机器人和代理开发训练环境到解锁新的交互式体验的各个方面。

我们已经将 Genie 4 作为研究预览版提供给受信任的测试者——在我们向消费者和开发者发布之前收集反馈，首先从 Google AI Ultra 订阅者（在 Project Genie 中）和 Gemini API 及 Google AI Studio 的早期访问合作伙伴开始。在 Project Genie 中加入 Genie 4 的等待名单 这里。

Genie 4 提升了四个关键能力

以下是 Genie 4 实时交互的录音，用户使用标准键盘控制进行导航和相机控制，并使用文本提示来引导场景的演变。

实时塑造世界模拟

使用 Genie 4，您可以使用自然语言实时修改模拟——例如改变天气、移动相机或引入新的人物或物体——Gemini 将根据周围场景上下文调整您的提示。在您的输入之间，Gemini 还会监控和引导场景，以保持世界的连贯性向前发展。

打开音频以聆听 Genie 4 的世界。

在物理和人类行为方面推动逼真的前沿

Genie 4 为实时交互模拟引入了新的逼真标准。基于对世界的先进物理理解，Genie 4 模拟现实世界的物理场景，例如空气动力学、碰撞等。

最显著的进步是 Genie 4 如何模拟人物，创建自然移动、对环境做出有机反应，并可以实时交互引导的角色。

模拟世界的声音

Genie 4 是我们首个能够原生生成音频的实时世界模型。每个世界都带有其自身环境的背景声音，从树中的风到海滩上的海浪。

然而，真正的前沿是人类语音。Genie 4 引入了实时适应的交互式对话。角色会相互交谈并对您的输入或世界中的事件做出反应，所有这些都实时进行。

使用 Gemini 模型模拟复杂事件

将 Gemini 和 Genie 4 结合在一起为世界模拟增加了一层推理能力，使我们能够模拟复杂的、多步骤的事件，并在将 AI 系统带到现实世界之前测试它们如何在不同环境中导航。

要在实时中实现这一点，Gemini 3.8 Flash 作为循环中的指导代理：当 Genie 4 实时生成世界时，Gemini 持续观察场景，将目标分解为一系列步骤，并审查传入的帧以跟踪进度并验证每个步骤是否成功。当世界发生变化或用户干预时，Gemini 即时调整其计划，解锁具有可靠因果关系、程序行为和多步骤推理的世界。

作为探索这项能力的一部分，我们还一直在使用 Gemini 4 Argon 和 Genie 4 进行实验，将我们的前沿研究与我们 Gemini Robotics 结合起来。

在下面的示例中，Argon 将用户指令的任务分解为步骤供 Genie 渲染。这些步骤在模拟渲染时作为文本标题交错显示给 Genie 4。由于 Genie 4 可以使用 Gemini 通过文本标题实时进行引导，这现在解锁了在任务完成过程中调整模拟的路径。这项能力成为在想象的世界中模拟各种场景的路径，使用 Gemini 4 Argon 和 Genie 4。

来自可信赖测试者的学习

虽然 Genie 4 是一个重要的研究里程碑，但它仍然是一个早期、实验性的模型。为了了解交互式世界模型如何支持现实世界的流程——以及它们仍然需要成长的地方，我们一直在与创意产业、新闻、教育、游戏和工程领域的可信赖测试者群体合作。

测试者强调了照片真实感、原生音频和实时引导的飞跃，使得想法和概念能够转化为逼真的模拟，解锁了跨学科的新能力：

• 创意指导：创意人员和技术人员正在将 Genie 4 作为快速“草稿模式”用于预可视化和构思。例如，电影制作人可以进入场景的实时模拟，并在实时中运行多个“镜头”，现场调整相机角度、灯光、对话和动作。
• 历史场景 & 沉浸式照片：摄影师正在探索如何将一张 2D 档案照片在几秒钟内变成该环境的可靠模拟。团队正在测试如何通过人口众多、动态的世界来体验历史空间或可视化短期环境事件（如闪电洪水或野火）的展开。
• 交互式体验概念设计：游戏开发人员和创意技术人员正在使用 Genie 4 在几秒钟内从初步想法到一个可探索的原型，通过自然语言提示测试视觉风格、材料美学和交互机制，在编写一行引擎代码之前。
• 模拟：除了我们的机器人研究之外，各行业的合作伙伴正在评估 Genie 4 作为一种快速“从零到一”场景生成的工具，并确定进一步改进 Genie 以最好地满足模拟需求的差距。

未来工作：朝着混合世界模型的迈进

未来进步的一个有希望的路径在于混合世界模型，它结合了代码和语言模型的逻辑、结构化推理与像素级模拟的丰富、感官表示。

Bringing Genie and Gemini models closer together is an early step in this direction. Gemini works behind the scenes to map the structure and plan the narrative timeline, while Genie generates the immediate physical reality—rendering how the world looks, sounds, and responds, pixel by pixel. Together, these complementary strengths can unlock a new class of world models that are far more coherent, controllable, and grounded than either approach could achieve alone.

Building world models responsibly

Genie 4 marks a new area of frontier research that merges real-time generation and photorealism, introducing a new range of capabilities and dimensions that we want to roll out and explore in a responsible way. Genie 4 includes strict safety guardrails that are consistent with our safety policies across other models. Before launching this preview, we evaluated Genie 4 through internal rigorous safety evaluations to prevent the generation of harmful or malicious content. Also, we have intentionally deployed it first to trusted tester partners to get early feedback, before we release the model more broadly.

To maintain transparency, all video and audio generated by Genie 4 will include SynthID, our imperceptible digital watermarking technology that helps identify AI-generated content across visual and audio modalities.

Understanding current limitations

Genie 4 remains an early, evolving area of research.

While it can maintain coherent environments over short sessions, visual details and object permanence can still shift or drift over time—especially as a simulation runs longer, after multiple complex prompt edits, or when navigating throughout the scene. Complex physical interactions, real-time audio accuracy, rendering legible text, spatial accuracy, and long-term consistency are active areas of ongoing research. We are sharing Genie 4 as a preview to learn alongside our community and safely advance the frontier of interactive simulation.

Next steps for Genie 4

Genie 4 has been released as a research preview to trusted testers, and is coming soon to Google AI Ultra subscribers in Project Genie and early access partners in the Gemini API and Google AI Studio. Join the waitlist for Genie 4 in Project Genie here.

We’re excited for users to step inside, experiment, and build their own interactive worlds soon.

Acknowledgements

Genie 4 是由 Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。

Genie 4 也需要跨部门团队的紧密合作，我们感谢所有使这次发布成为可能的跨职能合作伙伴：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。

感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的深刻指导和支持。

最后，我们感谢我们的忠实测试者和早期用户，他们提供了反馈，以帮助我们指导研究向前发展。