跳到正文
实时
蚂蚁 inclusionAI · Hugging Face 新模型·· 3 天前40

inclusionAI/invoker-render-1.0:Code World Model 2.0 视频渲染模型发布

inclusionAI/invoker-render-1.0

要点速览

inclusionAI 发布视频渲染模型 Invoker-Render,基于 Code World Model 2.0,支持长时流式生成和多粒度控制,模型参数规模达 33.12B,适用于视频生成和交互式部署。

正文

Code World Model 2.0 总览:多种视觉 Proxy、动作驱动分支、自适应 Proxy 粒度、长时 360° 环绕、主体与相机控制、真实游戏 Proxy,由 Invoker-Render 渲染

Code World Model 2.0: Towards Infinite Controllable Video Generation

Invoker-Render:以视觉 Proxy 为条件的视频渲染模型

arXiv (coming soon) | Homepage | GitHub

Code World Model 2.0 由上游引擎维护世界状态,通过视觉 Proxy 规定相机路径、场景布局和物体运动,再交给视频模型生成外观。

本仓库提供 Invoker-Render 的因果流式 DiT 权重。模型以结构 Proxy、一张外观参考图和文本为输入,配套的 CodeWorldModel 推理代码支持因果四步流式生成,基于 MiniMax-H3、SGLang 和 SGLang-Omni。

特点

  • 长时流式生成:固定外观锚点与有界历史窗口,支持持续输入 Proxy 帧。
  • 多粒度控制:支持语义图、稀疏 3D 框、主体掩码、带明暗的几何体,以及框加骨架。
  • 交互式部署:配套代码提供 WebSocket 会话服务、文件客户端和浏览器客户端。

权重说明

  • 根目录:因果流式 DiT 主权重。33.12B 参数,FP32 存储,29 个 safetensors 分片、638 个张量,约 132.5 GB,未量化,可直接加载。
  • config.json 保留 MiniMaxH3Transformer3DModel 架构标识;分片索引为 diffusion_pytorch_model.safetensors.index.json。
  • bidirectional_lora/teacher-live.safetensors:双向 teacher 的 LoRA 权重(约 2.3 GB),底座为 MiniMax-H3。它与根目录的因果主权重不是同一个模型,不要叠加到根目录权重上。
  • 本仓库不包含 VAE、Qwen、因果解码器、silence tensors 或准备好的推理 bundle,需另行准备匹配资产。

推理

请使用配套的 CodeWorldModel 仓库,按其 README.md 和 docs/INFERENCE.md 配置环境、准备 bundle,并通过 invoker_render.py 启动服务或运行文件推理。默认 production 配置使用单机八张 NVIDIA GPU。

输入为 1344×768 RGB 首图、24 FPS Proxy 视频和文本提示词;文件推理要求 Proxy 帧数为 17*N+5,且不少于 39 帧。24 FPS 是视频时间轴帧率,不代表推理吞吐。

许可

本仓库适用 Apache-2.0 与 CC BY-NC 4.0(非商业)条款。

来源: 蚂蚁 inclusionAI · Hugging Face 新模型 · huggingface.co