Anthropic与NNSA联合开发核武器风险分类器。

核技术具有双重用途：驱动核反应堆的同一物理原理可能被用于武器开发。随着人工智能模型变得越来越强大，我们需要密切关注它们是否能在可能威胁国家安全的方式下向用户提供危险的技术知识。

与核武器相关的信息特别敏感，这使得一个私营公司单独评估这些风险具有挑战性。这就是为什么去年四月我们 与 美国能源部 (DOE) 的国家核安全局 (NNSA) 合作，以评估我们的模型在核扩散风险方面的表现，并继续与他们合作进行这些评估。

现在，我们正在超越风险评估，以构建监测风险的工具。 与 NNSA 和 DOE 国家实验室合作，我们共同开发了一个分类器——一个自动对内容进行分类的人工智能系统——在初步测试中，该分类器能在 96% 的准确率下区分令人担忧和良性的核相关对话（详情见下文）。

我们已经将此分类器部署在 Claude 流量上，作为我们更广泛的识别模型滥用的系统的组成部分。早期部署数据显示，该分类器在真实的 Claude 对话中表现良好。

我们将我们的方法分享给  前沿模型论坛，这是前沿人工智能公司的行业组织， 希望这种合作模式可以作为蓝图，供任何人工智能开发者使用，以便与 NNSA 合作实施类似的保障措施¹。

除了确保前沿人工智能模型免受核滥用的具体重要性之外，这项开创性的工作还展示了公私合作的强大力量。这些合作结合了行业和政府的互补优势，直面风险，使人工智能模型对所有用户都更加可靠和值得信赖。

我们所做的工作

在这个合作中，我们没有止步于识别风险——我们开发了一种解决风险的方法。在 NNSA 人员在一个安全环境中对 Claude 模型进行了一年的红队测试后，我们开始共同开发风险缓解措施。

在他们的红队测试的启发下，NNSA 与我们分享了一套精心策划的核风险指标，旨在区分关于核武器开发的潜在令人担忧的对话和关于核能、医学或政策的良性讨论。至关重要的是，这份清单是在分类级别开发的，可以与我们的团队共享，使我们能够使用它来构建防御措施。

我们的政策和 保障 团队将这份清单转化成一个可以实时识别令人担忧的核查询的分类器。可以将分类器视为一个专门的标签器，就像您电子邮件收件箱中的垃圾邮件过滤器所使用的标签器一样。这个分类器不是识别垃圾邮件，而是识别可能有害的对话，同时允许合法的讨论。

为了验证系统，我们生成了数百个合成测试提示——有些令人担忧，有些良性——将它们运行通过分类器，并与 NNSA 分享了结果。NNSA 验证了分类器的分数与预期的标签（即有害或良性）一致。然后，我们根据他们的反馈改进了方法，并重复了循环以提高精度。图 1 总结了此过程。

这项事业最具挑战性的方面并非技术——而是弥合国家安全机构与私营AI公司之间的差距。双方都必须在信息共享限制下运作：NNSA需要将某些信息保密，而Anthropic需要保护用户数据。那么，我们如何验证我们的分类器确实有效呢？合成数据生成是我们的解决方案：我们使用NNSA的示例提示来生成数百个测试用例，创建了一个稳健的评估集，而没有损害任何一方的权益。

这为什么重要？

如果AI系统过于谨慎，它可能会拒绝合法的核工程课程。过于宽松，它可能会无意中帮助不良行为者。

我们的分类器似乎达到了合适的平衡。在合成数据的初步测试中，我们实现了对核武器查询的94.8%检测率，零误报（在此次测试中，分类器的标签总体准确率为96.2%，如图2所示），这表明该系统不会将合法的教育、医疗或研究讨论标记为令人担忧。这种精确度很重要，因为AI系统中的核对话虽然罕见但风险很高——它们直接影响国家安全。

与行业的分享

我们正在提供这些资源，以便其他领先的AI公司可以选择实施类似的保护措施。除了展示政府专业知识如何通过自愿的公私合作增强AI安全之外，我们还希望激发一个交流，让我们可以互相学习对方在风险缓解方面的方法。

下一步是什么？

如上所述，我们已经将分类器作为我们保护框架的实验性补充部署，监控Claude流量的一定比例。它在现实世界中的表现证实了分类器在测试环境之外也能有效工作。虽然我们的合成测试数据提供了有害和良性交流的明确示例，但实际用户流量的分布更为复杂和令人惊讶，但分类器仍然表现良好。

现实世界部署与测试不同的一例是，分类器标记了某些关于核武器的对话，我们最终确定这些对话是无害的。例如，最近中东的事件引起了人们对核武器问题的关注。在此期间，核分类器错误地标记了一些仅与这些事件相关的对话，而不是实际滥用尝试。我们发现，当这些交流通过分层摘要——即一起审查多个被标记的对话——时，它们被正确地识别为无害的时事讨论，因为摘要步骤提供了额外的上下文。

这揭示了两种动态：首先，现实世界的对话往往落入合成数据难以捕捉的灰色地带，其次，结合多个安全工具可以创建一个更细致和精确的系统。

最终，分类器通过部署成功证明了自己的价值，能够成功捕获相关内容（即真正阳性）。例如，Anthropic的红队人员并未意识到分类器已被部署，他们使用故意相关的提示词对系统进行常规的对抗性测试。分类器正确地识别出这些测试查询具有潜在危害性，展示了其有效性。

这项工作利用了各方的优势（即政府领域专业知识和行业技术能力），早期结果表明它在实践中是有效的。这展示了一种公私合作模式的典范，该模式可以在其他国家安全领域复制。它还说明行业现在可以采取步骤来实施有意义的安保措施。

我们感谢NNSA和DOE国家实验室的团队对这项合作的承诺，这展示了行业和政府如何可以共同努力以增强国家安全。

有关我们安全举措的更多信息，请参阅我们的 负责任扩展政策 、 前沿红队 和 安全措施 工作。