LangSmith 推出 LLM Gateway 公测版，为生产智能体提供运行时控制

LangSmith LLM Gateway 现在已开放公共测试版。

生产环境中的代理需要运行时控制模型调用，以避免成本超支和中断等不良后果。支出限额、速率限制、模型回退和敏感数据保护都是重要的控制措施，但没有合适的工具，工程师必须为每个模型提供者手动在各个代理中编写这些控制措施。

这就是我们构建 LangSmith LLM Gateway 的原因。它是位于您的代理和它们调用的模型之间的中央治理层，专为代理工程团队在生产中需要的控制措施而设计。LLM Gateway 为团队提供了一个地方来执行跨代理、模型和提供者的运行时控制，帮助他们始终如一地管理模型使用，同时避免供应商锁定。

今天尝试公共测试版

为什么代理需要一个中央治理层

在生产环境中，模型层可能迅速成为昂贵错误和面向客户的故障的来源。以下是在实践中看起来是怎样的：您的模型提供者发生了中断，现在您的客服代理正在返回错误，导致客户不满和收入损失。或者您的编码代理在夜间卡在重试循环中，到早上它已经进行了 10,000 次LLM调用，您收到了一个四位数账单。

在这些情况下，仅仅了解事后发生了什么是不够的。您需要在违规发生之前执行策略。但如果控制嵌入在每个代理的代码中，每个新的代理和模型提供者都会增加另一个维护实现路径。模型网关让团队能够一次定义策略，然后在模型和代理之间一致地执行它们。

LLM Gateway 控制

LLM Gateway 提供了代理进入生产时团队首先需要的控制措施：成本控制、速率限制、模型回退和敏感数据处理。

避免成本超支：LLM Gateway 允许您在问题成为问题时之前监控和控制内部和外部用户的 LLM 支出。您可以设置有时间限制的限额，并在四个级别上跟踪支出：

组织级别 — 用于公司范围的控件
工作区级别 — 以保持团队在支出限额内
API 密钥级别 — 用于控制特定项目的支出
用户级别 — 用于个人支出控制

当限额被达到时，代理会收到一个 402 响应，并带有清晰的错误信息。

限制失控流量：在组织、工作区、用户和 API 密钥级别应用速率限制，以防止意外滥用或流量峰值超出提供者限制并降低其他代理或团队的可靠性。

为每个客户制定支出和速率限制的策略：对于多租户环境和转售商，LLM Gateway 允许您按客户级别控制，而无需客户特定的 API 密钥。使用自定义请求头来识别每个最终客户或团队，然后执行单独的支出限额和速率限制，同时将所有 LLM 调用通过一个 API 密钥路由。您可以从一个地方更新限额并检查跨客户的支出，而不是自己构建和维护该逻辑。

提高代理可靠性：跨模型和主机定义回退规则，然后在所有应用程序中执行它们。当提供者中断、速率限制或不可用时，代理可以路由到另一个模型，而无需在每个应用程序中编写自定义回退逻辑。

减少敏感数据暴露：在请求到达模型提供者之前检测、遮蔽和替换个人身份信息（PII）和机密。LLM网关还会遮蔽它在LangSmith中记录的跟踪中的敏感数据。目前，此功能仅适用于企业计划用户。

在LangSmith中跟踪LLM网关事件：网关事件作为元数据记录在LangSmith跟踪中，因此您可以监控控制如何与生产流量交互。当请求因支出限额、速率限制或其他控制而被阻止时，您可以打开跟踪以检查上下文中的情况，并决定是否需要更改。

保留模型选择

LLM网关为您的代理和模型提供者之间的调用提供单个接口。它支持像OpenAI、Anthropic和Fireworks这样的流行提供者，并且支持具有与OpenAI或Anthropic兼容端点的自定义模型。

LangSmith网关优先考虑自带模型（BYOK）。您可以将自己的提供者密钥带来，并使用LLM网关进行路由、治理和政策控制，而无需向每个LLM调用添加额外的仪器。对于希望简化采购或更快开始构建代理的团队，网关还支持由Fireworks提供支持的托管推理，可以通过LangSmith直接使用网关积分获得。Fireworks为开放模型提供快速、高效的推理，帮助团队通过LangSmith LLM网关将它们投入生产。

我们相信开放权重模型很重要，因为它们为团队提供了对人工智能系统的更多控制权。它们为团队提供了在成本、质量、延迟、隐私和部署需求方面进行优化的灵活性，并围绕其业务的特定情况进行模型调整。网关是我们使开放模型更容易在生产中采用的一种方式。

Open models are already delivering the performance teams need for production AI. The next step is making them easier to adopt in agent workflows, where teams need control over cost, latency, and governance. Fireworks makes open model inference fast, efficient, and reliable at scale, and we’re excited to partner with LangChain on LangSmith LLM Gateway to help teams bring that performance into production.
林巧，Fireworks首席执行官

团队如何在生产中使用LLM网关

团队已经在使用LLM网关在生产代理周围设置硬支出限额和共享控制。一些常见模式包括需要支出限额的面向公众的代理，以及需要集中计费、使用跟踪和按客户限额的多客户代理。

每个生产代理都需要一个硬支出限额，特别是面向公众的代理，而LLM网关通过确保成本永远不会超过我们设置的限额，消除了这种风险。现在我们可以与客户坐下来，就支出和它支持的任何其他政策达成一致，并在几次点击内完成配置。Hylke Sybesma，AI工程师，Friday Digital Agency

开始使用LLM网关

您可以通过API直接调用LLM网关或使用像Claude Code、Codex和 Deep Agents Code（dcode）这样的编码辅助工具。

要开始使用，请将您的代理指向LangSmith网关端点，使用您的LangSmith API密钥进行身份验证，并将您的提供者API密钥添加到工作区密钥中。然后，配置您的控制以用于回退、速率限制、支出限额和敏感数据处理。更新您的base_url，并将其余代码保持不变。

LLM网关的下一步发展

我们开始LLM网关时，看到了团队最需要的一些控制。接下来，我们将通过更多方式扩展这个基础，以在生产中管理模型调用。

更广泛的约束条件 — 为代理调用外部模型和与生产系统交互所带来的风险提供更广泛的覆盖。
CI/CD 控制 — 用于部署提示和上下文、运行 A/B 测试、管理蓝绿和影子部署以及使用基础设施即代码定义控制的工具。

今天试试

LLM 网关目前对 Plus 和 Enterprise 计划开放公共测试版。

通过登录 LangSmith 或注册开始使用，然后在侧边栏中选择“LLM 网关”。您可以在我们的文档中找到设置详情。

Enterprise 计划用户可以通过此处请求访问数据保护控制。