vLLM-Omni 在 NVIDIA Vera Rubin 上支持 MiniMax H3-Image，4K 生成 0.87 秒

我们通过 vLLM-Omni 将 MiniMax H3-Image 带到了 NVIDIA Vera Rubin。在四块 GPU 上，原生 4096×4096 生成 在我们的短提示服务基准测试中达到 0.87 秒中位数。一个单独的吞吐量配置 提供 6,115 张图片/小时，预计到 146,755 张图片/天。

在 每张图片 USD 0.06879 的价格下，使用 MiniMax 的官方标准 4K API 价格示例 在发布前作为假设的售价，峰值吞吐量预计在 完全计费利用率下达到 USD 105.16/GPU/小时的总收入，或在 75% 的利用率下达到 USD 78.87/GPU/小时。这些估计不包括运营成本； 每日容量是对测量速率的推算。

H3-Image 是一个用于文本到图片生成和图片编辑的开权重量模型。一个检查点 在六步采样中处理这两个任务，生成原生高分辨率图片而不需要上采样器，并支持 最多 16 张参考图片。

我们将 H3-Image 带到 消费级和数据中心的 GPU，涵盖 NVIDIA、AMD、 Intel 和 Moore Threads (MUSA)，以及 华为 Ascend NPU。

• 单 GPU 和多 GPU 服务。 在单个 RTX GPU 上运行，或在多个数据中心 GPU 上 分布生成，具有不同内存容量的配置。
• 在 10 种 NVIDIA 硬件类型上测量。 比较文本到图片生成和编辑的延迟，涵盖不同的输出分辨率和参考图片数量。

质量

油画笔触、多视角相机绘画、日本海报字母和稻谷上的小字揭示了小图片 会丢失什么。一个游戏环境增加了风化的石头和反射的光。每个都使用一个 H3-Image 生成的 4K 图片，调整大小到 1K 和 2K 并保持其宽高比，所以构图保持不变。

性能

两种 API 模式很简单：文本到图片 接受一个提示；图片编辑 接受一个提示和一个或多个参考图片。我们的主要比较使用 2K (2048×2048) 和 4K (4096×4096) 输出，每个请求返回一张图片。提示和参考文件在机器之间保持固定。见 MiniMax 的 API 指南 以获取请求参数。

在下方选择 文本到图片 或 图片编辑。对于编辑，选择 1、2、4、8 或 16 张参考图片；输出大小反映了测量的案例。

对于 4K 文本到图片，四块 GB300 GPU 平均 1.48 秒。一个 4K 带一个参考图片的 图片编辑 平均 1.77 秒。一个单独的 RTX 5090 使用 CPU 层次卸载需要 52.29 秒 和 61.45 秒 来处理那些相同的请求。每个时间都包括完整的 PNG 响应。

对于 2K 文本到图片，一个 单个 H200 使用 BF16 和驻留权重平均 1.49 秒。

对于这里使用的详细咖啡产品提示，Rubin 在 4K 下平均 1.09 秒。这个 0.87 秒 的标题来自 Rubin Bringup 中的另一个短提示服务基准测试，而不是这个请求。两者都使用四块 GPU，SP4 和 MXFP8；请求语料库、HTTP 客户端和汇总统计数据不同。

每项结果都显示其 GPU 数量。 测试设置 列出了确切的 GPU 型号、每个 GPU 的 CUDA 可见显存、互连、功耗限制和服务配置。 GPU 数量、精度和内存布局各不相同，因此这些数据比较的是部署的系统，而不是隔离的 GPU 架构。1K 检查返回 1024×1024 图像；使用本地模型的默认最小画布，它们在 2048×2048 生成并调整大小。因此它们不代表原生 1K 扩散计算。一些 1K 和 2K 运行还使用不同的分配器设置，在 测试设置 中显示。

基准数据。 条形图显示预热后的三种子均值，以及最小-最大范围。配置、计时范围和 10 分钟请求限制在 测试设置 中记录。

推理优化

H3-Image 将 Qwen3-VL 编码器 与 33.1B 密集 DiT 和图像 VAE 配合使用。原生 4096×4096 输出在六个去噪步骤中贡献 16,384 个目标图像 token，然后进行 VAE 解码。参考文献添加了编码工作和条件 token。这给我们提供了三个实际目标：DiT 计算、解码开销和模型内存。查看 模型架构。

更快的 DiT

在 Blackwell 和 Rubin 上，MXFP8 GEMMs 加速符合条件的 DiT 线性，同时减少它们的权重占用。 Ulysses SP4 在四个 GPU 之间分配序列工作；DiT TP1 保持权重复制。 AdaLN 缓存 在它们的输入和权重匹配时重用确切的条件投影。仍然运行所有六个去噪步骤。编码器和 VAE 保持其配置的精度；Hopper 和 Ampere 使用 BF16。

更快解码

VAE 解码独立的图像瓦片。我们将这些瓦片分布在 GPU 上，然后在每个 GPU 上组合 CUDA 图形重放与多个 CUDA 流：重放减少了重复启动开销，而流允许瓦片重叠。

在四个 GB300 GPU 上的单独 BF16 控制显示了这一点的重要性。VAE 解码从 2.635 秒减少到 0.213 秒，将端到端延迟从大约 4.0 秒减少到 1.6 秒，或 2.5 倍更快。两条路径已经将瓦片分布在四个 GPU 上；这是组合图形和流的收益。 控制测量。

适配更小的 GPU

逐层 CPU 卸载 用权重传输时间换取 GPU 内存。RTX 5090 和 RTX 5080 卸载 DiT 和文本编码器并急切解码 VAE。RTX 6000D 和 RTX PRO 6000 保持 DiT 居住，卸载编码器并使用 VAE CUDA 图形。这实现了单 GPU 部署，同时解释了与居住数据中心配置的部分延迟差距。

Rubin 启动

我们的起点是 vLLM-Omni 的 H3-Image 实现和 vLLM 的 Rubin 支持，使用 CUDA 13.4 运行时。H3-Image 在该基础之上添加了密集扩散工作负载：原生 4096×4096 图像在六个去噪步骤中贡献 16,384 个目标图像 token，然后进行 VAE 解码。我们测试了这条路径如何将 Rubin 的功能转化为交互延迟和服务吞吐量。

我们为此运行做了两个更改：

• MXFP8集成。我们将Omni的扩散线性连接到vLLM的在线MXFP8加载和内核选择。在Rubin上，符合条件的DiT线性使用FlashInfer CuTe-DSL MXFP8 GEMM；注意力使用 TRTLLM_ATTN。这些都是现有的库内核。文本编码器和VAE保留原生精度。
• 可靠的4K输出。重复的4K请求暴露了输出传输路径中的停滞。我们将最终的图像布局转换移至CPU，在传输解码的uint8张量之后。回归检查确认重复请求完成且解码像素未改变。

然后我们比较了SP4、SP2×DP2和SP1×DP4，使用现有的VAE CUDA图和AdaLN缓存路径。四个GPU使用SP4达到 0.87秒响应，或使用四个副本达到 6,115张图像/小时。以下扫描修复了原生4K文本到图像，无参考，六步和MXFP8 DiT线性，每个并发点都有一个单独的160请求提示-种子语料库：20个短提示，每个122-160个字符，跨越八个种子。上述跨硬件咖啡产品请求使用一个1,292字符提示，报告三种子均值。

延迟

使用SP4在并发1时，中位数延迟是 0.866秒 (p95 0.944秒)：2.21倍快于GB200 和 1.64倍快于GB300。所有三种延迟配置都使用四个GPU，SP4和MXFP8。

吞吐量

四个单GPU副本 (SP1×DP4) 在并发8时达到 6,115张图像/小时，具有 4.411秒中位数延迟。SP4在并发2时达到 4,407张图像/小时，中位数为 1.421秒。副本增加了 38.7%吞吐量；亚秒和峰值吞吐量标题是不同的操作点。

在跨平台修复 SP4 后，Rubin 提供 2.20× GB200 和 1.60× GB300 峰值吞吐量。每个绘制的点包含 160 个热请求; 副本独立服务图像，不会将它们组合成一个 DiT 批次。

经济性

6,115 张图像/小时 项目到 146,755 张 4K 图像/天 每个 four-GPU Rubin 系统。我们使用 USD 0.06879 张图像，这是 MiniMax 官方 API 定价示例 针对 标准 4K 文本到图像，无参考，发布前折扣。 在假设的售价下，预计毛收入为 USD 105.16/GPU/小时 在 100% 可计费利用率下，或 USD 78.87/GPU/小时 在 75%。

收入 = 图像/小时 × 价格/图像 × 可计费利用率 ÷ 4 GPUs。 实际托管-API 费用随文本标记使用量而变化。收入数字在运营成本之前; 每日容量推算测量速率，而不是 24 小时负载测试。

其他硬件

H3-Image 也通过以下实现和配方在 AMD Instinct, Intel Arc Pro, Huawei Ascend 和 Moore Threads 硬件上得到支持。这些社区验证使用他们自己的工作负载和配置; 上述匹配的性能数字涵盖了我们 NVIDIA 的运行。

AMD Instinct. AMD配方 包含在MI325X和MI350X上，使用一到八个GPU，使用BF16和FLASH_ATTN的文本到图像和编辑测量。它涵盖了Ulysses序列并行性和张量并行性。ROCm使用单个VAE图副本来避免并发图重放时观察到的挂起。

Intel Arc Pro B70。 XPU配方 documents测量了一、二和四GPU部署。其推荐的四卡布局使用DiT TP4与文本编码器逐层卸载以适应32 GB卡。较小的布局也卸载DiT权重；VAE解码在XPU上急切运行。

Huawei Ascend。 NPU配方 covers Atlas 800I A2, Atlas 800T A3和Atlas 350 (A5)。测量的A2和A5配置使用一个、两个或四个NPU，使用BF16和急切执行。四NPU配置在A2上使用DiT TP4，在A5上使用Ulysses SP4与文本编码器TP4；较小配置使用逐层卸载。

Moore Threads MTT S5000。 H3-Image通过MUSA实现支持，它启用VAE图解码，并包括一个 特定于模型的配方 在80 GB S5000卡上测量了TP2和TP4布局。图测试检查与急切解码的位一致性。

OpenDirector

OpenDirector是一个为创作者驱动的平台，由vLLM-Omni贡献者启动，以使vLLM-Omni更容易在创意工作流程中使用。

其Day-0 H3-Image集成目前使用MiniMax的托管图像API。创作者可以通过画布或代理生成和编辑图像，然后使用输出作为下一次编辑的参考。我们计划扩展对由vLLM-Omni支持的本地部署H3-Image工作流程的支持。

致谢

我们感谢MiniMax发布H3-Image及其模型权重；NVIDIA团队和vLLM社区对Vera Rubin支持的工作；以及vLLM-Omni和FlashInfer贡献者为本研究工作中使用的服务器和内核基础设施。

我们还感谢OpenDirector贡献者对创意工作流程中H3-Image集成的工作。