inclusionAI/invoker-render-1.0:Code World Model 2.0 视频渲染模型发布
inclusionAI/invoker-render-1.0
inclusionAI 发布视频渲染模型 Invoker-Render,基于 Code World Model 2.0,支持长时流式生成和多粒度控制,模型参数规模达 33.12B,适用于视频生成和交互式部署。
Code World Model 2.0: Towards Infinite Controllable Video Generation
Invoker-Render:以视觉 Proxy 为条件的视频渲染模型
arXiv (coming soon) | Homepage | GitHub
Code World Model 2.0 由上游引擎维护世界状态,通过视觉 Proxy 规定相机路径、场景布局和物体运动,再交给视频模型生成外观。
本仓库提供 Invoker-Render 的因果流式 DiT 权重。模型以结构 Proxy、一张外观参考图和文本为输入,配套的 CodeWorldModel 推理代码支持因果四步流式生成,基于 MiniMax-H3、SGLang 和 SGLang-Omni。
特点
- 长时流式生成:固定外观锚点与有界历史窗口,支持持续输入 Proxy 帧。
- 多粒度控制:支持语义图、稀疏 3D 框、主体掩码、带明暗的几何体,以及框加骨架。
- 交互式部署:配套代码提供 WebSocket 会话服务、文件客户端和浏览器客户端。
权重说明
- 根目录:因果流式 DiT 主权重。33.12B 参数,FP32 存储,29 个 safetensors 分片、638 个张量,约 132.5 GB,未量化,可直接加载。
config.json保留MiniMaxH3Transformer3DModel架构标识;分片索引为diffusion_pytorch_model.safetensors.index.json。bidirectional_lora/teacher-live.safetensors:双向 teacher 的 LoRA 权重(约 2.3 GB),底座为 MiniMax-H3。它与根目录的因果主权重不是同一个模型,不要叠加到根目录权重上。- 本仓库不包含 VAE、Qwen、因果解码器、silence tensors 或准备好的推理 bundle,需另行准备匹配资产。
推理
请使用配套的 CodeWorldModel 仓库,按其 README.md 和 docs/INFERENCE.md 配置环境、准备 bundle,并通过 invoker_render.py 启动服务或运行文件推理。默认 production 配置使用单机八张 NVIDIA GPU。
输入为 1344×768 RGB 首图、24 FPS Proxy 视频和文本提示词;文件推理要求 Proxy 帧数为 17*N+5,且不少于 39 帧。24 FPS 是视频时间轴帧率,不代表推理吞吐。
许可
本仓库适用 Apache-2.0 与 CC BY-NC 4.0(非商业)条款。
来源: 蚂蚁 inclusionAI · Hugging Face 新模型 · huggingface.co