Google DeepMind 发布 Genie 4 世界模型，新增音频与实时编辑

谷歌 DeepMind 在周二的研究预览中发布了其最新的世界模型 Genie 4。最新模型生成了迄今为止最逼真和交互式的世界，允许用户在模拟过程中输入提示来改变场景。该模型还生成与模拟世界匹配的实时音频，包括音乐、环境噪音和交互式对话。

Genie 4 的发布是在 AI 视频创业公司 Runway 发布其第二个世界模型 GWM Worlds 2 几个月后，该模型是一个可玩的模型，能动态响应用户输入并包括音频生成。同时，世界模型行业开始整合。Fei-Fei Li 的 World Labs 正被 AMD 收购，亚马逊正在与 收购 Decart 进行谈判，Rivian 刚刚收购 Third Dimension 以将模拟能力内部化用于自动驾驶测试。

Genie 4 是谷歌在拥挤领域中保持领先的最新举措。

谷歌一年多前以研究预览的形式发布了其前身 Genie 3。除了远更逼真且具有音频外，Genie 4 允许自由编辑，例如实时更改天气或相机角度，或添加新的人或物体。它可以保持一个持续的场景长达两分钟，是其前身的两倍，并提供更好的物理效果和更像人类的角色。

谷歌的 AI 模型 Gemini 也与 Genie 4 更紧密地集成，充当计划步骤和检查帧的导演，而 Genie 创建视觉效果。在与 Gemini Robotics 相关的研究实验中，Gemini 4 Argon 模型将任务分解为步骤，Genie 4 实时模拟。该实验展示了一种在真实世界事件发生之前在模拟中测试机器人场景的可能方法。

"未来我们将越来越看到这些混合世界模型，其中你有一个 Gemini 编写代码和文本的组合，而 Genie 实时摄入这些内容并在不同抽象级别上模拟现实，" 谷歌研究总监 Tejas Kulkarni 在简报中说。

与其他世界模型一样，建议的商业用例包括游戏、互动学习和机器人技术。一个互动学习的推测性例子是输入一个历史场景的画作，并与画作中的主题讨论所描绘的事件。

但 "受信任的测试者" — 谁首先获得谷歌尖端产品的访问权限 — 指出了一种可能的全新用途：原型电影。

"实时方面在保持创意空间的流程状态变得极其有用的领域最有价值，" 谷歌 DeepMind 工程师 Diego Rivas 在新闻发布会上说。"例如，在构思阶段，在故事板阶段 — 任何你需要快速构思的时候。"

谷歌还提供 Veo，其 AI 视频生成模型，可以从文本、图像或视频提示中制作具有内置同步音频的高清片段 — 这是一个在 电影制作人 中越来越受欢迎的工具。

Rivas 补充说，最终，用户可以依赖 Gemini Omni，一个多模式大型语言模型，可以从图像、音频和文本生成视频，将那些原型转化为创意资产。尽管他说，这些功能还有一段路要走。

在整个简报中，Rivas 强调 Genie 4 的早期阶段，目前尚不清楚端到端的产品体验将是什么。团队也承认 Genie 4 仍然存在差距：模拟运行时间越长，细节和对象可能会漂移，他们仍然没有完全弄清楚如何确保音频的准确性以及世界中的文本的可读性。

Genie 4 目前作为研究预览提供给受信任的测试者。在接下来的几周里，该模型将向 Google AI Ultra 订阅者在 Project Genie 中推出，这是 Google 用于从文本或图像提示生成交互式世界的 AI 工具，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。

通过我们文章中的链接购买时，我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。

Rebecca Bellan 是 TechCrunch 的一名高级记者，她报道商业、政策和塑造人工智能的新兴趋势。她的作品还出现在 Forbes、Bloomberg、The Atlantic、The Daily Beast 等出版物上。

您可以通过电子邮件 [email protected] 或通过 Signal 上的加密消息 rebeccabellan.491 联系或验证 Rebecca 的联络。

查看简介