NVIDIA 发布 Kumo Relational 关系型基础模型，无需训练即可预测

简明扼要

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可以直接在企业数据库上进行预测。给定一个预测查询，它会收集最多 10,000 个历史示例作为上下文，并在单次前向传递中预测诸如客户流失、需求或欺诈等结果。它无需特定任务的训练、无需特征工程，也不需要对表格进行扁平化处理。Kumo Relational 是第一个在常见关系型基准上超越监督机器学习的少样本基础模型。在 15 个数据库上的 41 个任务中，它击败了监督关系型深度学习模型和专家设计的梯度提升树管道，并且在 SAP SALT 企业基准测试中，其平均倒数排名（MRR）比 AutoGluon 集合高出 8%。它可以扩展到包含 500B+ 行的数据库，并且适用于人类和代理，通过 NVIDIA 的开源、GPU 本地化的结构数据模型库或作为 NVIDIA NIM 使用。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview

转向结构化数据基础模型

基础模型已经重新定义了语言和视觉的规则。不久前，生产 NLP 意味着每个任务都有一个专用模型，每个模型都有自己的分词、词元化和 n-gram 管道。LLM 使这一堆栈在很大程度上过时了，原因有三：它们比最好的特定任务模型更准确，投入生产远简单，并且足够灵活，足以开启一个新的智能代理应用时代。

结构化数据领域也迎来了同样的变革。关系型数据库驱动着全球最关键的商业决策，然而在这些数据库上进行预测建模仍然需要数周的特征工程、特定任务的训练和调优的管道。结构化数据基础模型通过同样的三个原因改变了这一现状：

更高的当前精度：作为即插即用的替代品，这些模型已经超越了许多生产管道，尤其是XGBoost。在RelBench V1分类任务中，Kumo关系型模型在专家设计的特征上平均比梯度提升树高出近4个AUROC点。在SAP SALT上，它开箱即用就在设计好的特征上比XGBoost高出7个MRR点，经过微调后高出13个MRR点。这些结果有力地证明了用Kumo关系型替代生产XGBoost管道的必要性。

简化和敏捷性：一个预训练模型取代了针对单个任务的独立管道。一个新的预测变成了一个查询而不是一个项目，因此ML团队终于可以承担传统ML使得在组织各级构建过于繁琐的用例。

能够预测的代理：LLM让代理能够读取、写入和推理。结构化数据基础模型让它们能够预测接下来会发生什么，例如哪个客户会流失，并据此采取行动。Kumo关系型已经设计为可以被代理调用，其预测查询语言（PQL）为它们提供了一个简单的接口来提出预测性问题。

今天，我们推出了Kumo关系型（论文, 文档），一个预训练的基础模型，它将这一范式带到了关系型数据中。连接一个数据库，描述要预测的内容，并在一次前向传递中获取预测。无需训练。

Kumo关系型的工作原理

大多数用于结构化数据的基座模型都在单个扁平表格上运行。现实世界的数据存在于关系数据库中：用户连接到订单连接到产品，所有这些都随着时间的推移而演变。通过手动聚合（例如，“过去30天的平均订单价值”）将这些关系扁平化为一行会丢失细粒度的结构信号，并且需要大量的人工作力。

Kumo Relational 是一个 关系基座模型，它直接在数据库上运行，尊重其表、外键和时间戳。它在反映现实世界数据集的合成关系数据上预先训练一次，并通过 情境学习 适应每个新任务，在推理时最多读取 10,000 个上下文示例。每个示例都配对一个实体在某个时间点的局部子图及其真实目标（例如，“此用户流失”或“此商品售出 142 个单位”）。

![NVIDIA Kumo Relational 系统概述： (a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 为 NVIDIA Kumo Relational 模型自动生成上下文，该模型在租户之间水平扩展。]

图 1. Kumo Relational 系统概述。连接数据库，指定预测查询，Kumo Relational 处理其余部分，从上下文生成到模型推理。

要做出预测，Kumo Relational 必须做三件事： (1) 理解每个表中的值，(2) 跨表关联记录，以及 (3) 将上下文示例与已知目标关联到正在预测的实体。它是这样工作的：

![Kumo Relational 架构： (a) 带有任务、用户、订单和项目表的上下文输入； (b) 带有注入的上下文目标的表内列和行注意力； (c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构： (a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成： 任务使用 预测查询语言 (PQL) 编写，这是一种声明式界面，你声明要预测什么而不是如何。对于时间任务，Kumo Relational 重放历史数据库状态：它采样以锚点时间戳为中心的实体子图，并从该时间戳之后的事件计算每个目标，同时仅向模型提供该时间戳之前的数据。这防止了数据泄漏。

表内推理： 一个轻量级网络独立处理每个表，交替进行列注意力（关联列内的值）和行注意力（关联行内的特征）。该模型学习哪些列和行对当前预测很重要，并在噪声传播之前将其过滤掉。

跨表推理： 一个更大的网络通过主键/外键关系上的图注意力将行嵌入分布在关系结构中，与跨上下文示例的交叉样本注意力交替进行。这就是关系推理发生的地方，例如将用户的个人资料链接到他们的交易历史。由于这一阶段在行嵌入上而不是在每张表的每个单元格上工作，因此设计避免了二次成本，并扩展到大型上下文和更深的子图。

Kumo Relational 是如何构建的

Kumo Relational 在完全合成的关系数据上进行预训练，这些数据模拟了真实世界的关系数据库，并具有多样化的预测查询。预训练分阶段进行，从单个表格到日益复杂的关系结构。

预训练所需的多样化关系数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器基于 PluRel (Kothapalli 等人，ICML 2026) 的方法，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队成员帮助开发了 PluRel 并合著了原始论文。PluRel 以三个阶段生成每个数据库：模式、作为真实数据中那样聚类的行之间的外键链接，以及来自具有时间趋势和跨表依赖的结构因果模型的列值。生成过程轻量级，因此预训练数据实际上是无限的，并且 PluRel 论文表明，随着合成数据库的添加，预训练损失遵循幂律，这些收益可以转移到真实数据库。

通过这种预训练，模型学习跨表过滤、关联和聚合信息，而不是依赖固定的聚合。当最大精度很重要时，Kumo Relational 也可以在特定数据集和任务上进行微调。

性能

在本文中，我们在 RelBench V1 和 V2、SAP SALT 和 4DBInfer 的 15 个关系数据库上的 41 个基准上评估了 Kumo Relational，涵盖电子商务、医疗、企业、社交和学术领域。这些数据集在预训练中都没有出现过。Kumo Relational 在分类和回归方面都优于最强的监督模型，包括关系深度学习模型和专家设计的表格集成。在比较关系模型和系统的 RelArena-α 排行榜上，它开箱即用地位于精度-效率帕累托前沿：

![RelArena-α 排行榜的散点图：相对精度作为 Elo 跨任务（y 轴）与每 1,000 个样本的中位数推理时间（x 轴，对数刻度）。Kumo Relational 位于帕累托前沿，大约 17 秒和 Elo 1,842。得分最高的条目 rt-plurel 在大约 7,300 秒时达到 Elo 1,878，慢约 430 倍。每个其他基础模型、特征工程系统和监督模型得分较低且运行速度比 Kumo Relational 慢。]

图 3. RelArena-α 排行榜：跨任务的 Elo 与每 1,000 个样本的中位数推理时间（对数刻度）。Kumo Relational 在相似精度下比得分最高的条目快约 430 倍。

论文还报告说，在 SAP SALT 企业基准上，Kumo Relational 在平均倒数排名 (MRR) 上比大型 AutoGluon 集成高 8%，比最近的表格基础模型高约 25%，并且微调将其对 AutoGluon 的领先优势扩展到 16%。它还在困难条件下表现良好：使用仅 0.2% 的训练数据作为上下文时表现良好，当高达 75% 的外键链接被删除时保持稳定，并且在添加许多噪声列时几乎不会退化。

局限性

Kumo Relational 在具有有意义关系和时间动态的数据上表现最佳，例如用户随时间的行为。在具有非常大的训练集的任务中，特定任务的监督模型可能仍然优于上下文预测，在我们的基准测试中，上下文预测最多使用 10,000 个上下文示例。基础模型的微调正是为此情况设计。预测信号也必须在有限跳数内可达，因此从几个相关的表开始进行专注查询，并根据需要扩展图。

演示

Kumo Relational 原生地在数据库上进行上下文学习：在内存中，通过数据库和仓库连接器，或通过一个自定义图引擎，该引擎通过内存映射 I/O 处理 500B+ 行，速度高达 5 GB/s。它可在 NVIDIA 新发布的、GPU 本地的结构化数据模型库中找到，该库也是我们姊妹模型 Kumo Tabular 的驱动库。该库在首次使用时从 Hugging Face Hub 下载权重，因此您可以在 GPU 支持的笔记本中加载模型并直接从它进行预测。下面的代码将上下文示例、预测实体及其相关表传递给模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

查看库的 关系示例，了解完整的 RelBench 和 SAP SALT 管道，包括如何采样每个实体的相关表。

要作为单独的服务运行模型，可以将其部署为 NVIDIA NIM，并从您的笔记本指向开源的 结构化数据模型客户端。您用 PQL 编写预测，客户端收集上下文示例和相关表，然后发送请求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

查看客户端的 示例笔记本，了解在本地 NIM 和 Databricks 上进行端到端运行的示例。

使用 NVIDIA Kumo Relational 开始构建

NVIDIA Kumo Relational 现在即可使用。阅读 研究论文，探索 快速入门笔记本，或开始对您的数据进行预测。代码在 Apache 2.0 许可下发布，模型权重在 OpenMDW 许可协议版本 1.1 下发布。NVIDIA 相信可信赖的人工智能是一种共同责任，我们已经建立了政策和实践来支持广泛的人工智能应用开发。根据我们的服务条款下载或使用时，开发者应与其支持模型团队合作，确保该模型满足相关行业和用例的要求，并解决意外的产品滥用问题。请将模型质量、风险、安全漏洞或 NVIDIA AI 问题报告 此处。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview
• 代码： https://github.com/NVIDIA/structured-data-models
• PyPI： https://pypi.org/project/structured-data-models/
• 客户端代码： https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI： https://pypi.org/project/structured-data-models-client/
• 权重： https://huggingface.co/nvidia/Kumo-Relational
• 快速入门笔记本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究： 预测查询语言 (PQL), PluRel, Kumo Tabular

致谢

我们感谢整个 Kumo 团队提供的宝贵支持。特别感谢 Josh Przybylko, Adi Wadaskar, Hema Raghavan, Manush Murali, Raja Rao DV, Keti Jovanovska, Zack Drach, Vanja Josifovski, Myungwhan Kim, Blaž Stojanovič, Siyang Xie, Alan Krumholz, Effy Fang, Abdullah Al-chihabi, Disha Dubey, Devan Johnson, Joseph Oliveira, Angela Liu, Miha Pelko, Vedaant Jain, Sally Liu, Aleksandar S. Sokolovski, Alex Porter, 和 Ramona Bendias。