zovo.imzovo.im
首页›AI 快讯›正文

DeepMind 发布 Genie 4:世界模型首次原生出声,还能边走边对话,目前仅限受信任测试者

zovo约 2 分钟读完
Google DeepMind 10 月 27 日发布世界模型 Genie 4。和一年多前的 Genie 3 相比,它最大的变化是同一次生成里带出声音:环境噪声、音乐和角色对话跟画面一起实时产出,不用后期配音。目前只开放给受信任测试者,消费者和开发者入口还没开。

01变了什么

官方博客列出四项能力:用自然语言实时改动正在运行的世界(换天气、挪镜头、加人或物体);更真实的物理和人物动作;原生音频,包括可随输入即时变化的对话;以及让 Gemini 参与复杂多步事件的模拟。

能力官方说法
实时改世界用文字提示调整正在演化的场景,Gemini 会结合上下文改写提示,并在两次输入之间监控、推动场景连贯发展
物理与人物官方称能模拟空气动力、碰撞等物理场景,人物动作自然,可实时操控
原生音频这是 DeepMind 首个原生生成音频的实时世界模型,环境声、音乐、对话都由 Genie 4 直接产出
Gemini 在环Gemini 3.8 Flash 在循环里观察画面、拆解目标、逐帧检查每步是否完成,用户中途插手时现场改计划

02和 Gemini 怎么配合

官方的说法是 Genie 4 吸收了 Gemini 家族的能力:Gemini Omni 负责让画面贴近真实世界的外观和行为,其他 Gemini 模型负责推理,维持模拟的连贯。博客举的机器人例子里,Gemini 4 Argon 把“下跳棋”拆成步骤,以文字说明的形式穿插喂给 Genie 4,由它渲染 Apptronik 的 Apollo 人形机器人下棋。DeepMind 把这条路线叫作“混合世界模型”:语言和代码负责结构与叙事,Genie 负责像素级的物理现实。

03能用吗

  • 现状:研究预览,仅限受信任测试者。
  • 接下来:先面向 Google AI Ultra 订阅用户(在 Project Genie 里),以及 Gemini API 和 Google AI Studio 的早期访问伙伴,具体时间官方只写“即将”。
  • 排队:官方放出了 Project Genie 的等候名单表单,入口在官方博客页顶部。
  • 所有生成的视频和音频都带 SynthID 水印。

04官方承认的短板

官方写得比较克制:只能在较短的会话里保持环境连贯,运行越久、改提示越多、走动越多,细节和物体恒常性越容易漂移;复杂物理交互、实时音频准确度、画面里的可读文字、空间精度和长期一致性都还在研究。以上是官方自述,本站没有机会实际体验。

05对谁有意义

官方提到测试者的用法集中在影视预演(实时跑多个“镜头”)、把一张历史照片变成可探索的场景、游戏原型的快速概念验证,以及企业的场景模拟。如果你做的是这几类,值得先排队;其余人现阶段只能看演示。

提示博客里的演示视频是官方挑选的,不代表日常使用的稳定表现;等 Ultra 用户能上手后,再看长时间使用的反馈更可靠。
标签:
本文由 zovo 编辑撰写,转载请注明出处。

相关文章