Anthropic 向 METR 开放员工级访问权限评估模型风险

Last month, we committed to stronger independent, third-party assessment of our models and safety practices. We also signed the White House Accord on Super Intelligence, in which companies pledged to partner with independent external auditors or evaluators. Today, we’re announcing that we’ve started to give employee-like access to a team from METR, a nonprofit that evaluates frontier AI models.

METR 将公布其风险评估结果。在过去的一年里，我们与 METR 合作进行了 几次对我们风险报告的审查。我们还在与 SecureBio 和 Accenture 合作作为评估员，并与包括 Hugging Face 在内的多家组织进行了初步讨论。

在这里，我们解释了我们与评估员合作的方法。

我们为何与独立评估员合作

随着模型变得越来越强大，它们需要更强的安全保护和更具挑战性的风险评估。我们希望对我们的决策公开负责。但我们不能公开分享所有与我们的安全工作相关的信息。其中一些信息可能对恶意行为者有用，或者具有商业敏感性，例如计算或训练信息。相反，我们正在向第三方评估员提供对我们信息的深入访问权限，并让他们分享有关构建我们模型所涉及风险的证据和合理结论。我们的目标是缩小评估员对前沿人工智能公司系统了解程度与公司自身了解程度之间的差距。

为了评估前沿模型，评估员需要以下条件：

• 评估前沿模型能力的专业知识，包括了解评估可能出错的方式，例如 对齐伪装。
• 独立性：他们不应持有所评估公司的股权，也不应在其财务或运营上依赖该公司。
• 足够的访问权限 以便有意义地评估风险。除了访问最新模型外，评估员还需要了解这些模型的训练方式、我们安全措施的功能等。
• 发布观察结果和评估的自由 对模型或流程。

尽管类比并不完全准确，但银行监管遵循类似的逻辑。银行比外部人士更了解自身的风险状况，因此监管机构为大型银行内部派遣驻场检查员。如果一家银行的风险承担可能威胁到公众，第三方会试图提前发现这一点。

对于人工智能行业来说，这是迈向 稳健安全监管 的一步。我们正迅速与多个评估员合作，并积极学习哪些类型的合作有效。我们致力于分享我们的进展。

我们所说的“类似员工的访问权限”是什么意思

我们已经入职了六名 METR 员工，他们可以使用公司硬件、办公空间，并可以访问与我们的风险评估团队大致相同的内部工具和系统。在少数几个明确界定的类别之外（例如，关于客户的数据、律师-客户特权信息或我们模型架构的信息），Anthropic 员工被鼓励像与一位正在处理对齐风险的同事一样与他们会面分享信息。¹

METR 将发布对我们风险水平、事件或实践的分析。Anthropic 无法否决发布，但我们可以在信息属于预定义类别（例如复制机密知识产权）时要求他们删除信息。（Anthropic 最终决定哪些信息属于或不属于这些类别，尽管 METR 保留就其获得的信息访问级别和信息的程度做出某些声明的权利。)²

我们与 METR 的合作仅限于一个小团队，该团队在可执行协议下运作。其他 METR 员工与该团队的工作是隔离的，包括与我们合作进行其他项目的研究人员。嵌入式评估让在 Anthropic 安全标准下工作的少数合格人员近距离了解我们的运作方式。这不是其他组织获取我们信息或我们客户和合作伙伴信息的方式。

我们的其他评估伙伴关系

我们正在处理几个其他的伙伴关系。由于这些其他的伙伴关系仍处于早期阶段，我们正在向这些评估员提供更有限的信息，并且他们有更有限的发布权利。我们与这些早期参与的伙伴的目标是确保我们的合作伙伴保护机密信息，并拥有评估我们模型的必要资源和专业知识。随着伙伴关系的进展和信任的建立，我们希望完全嵌入更多的独立评估员。

我们正在为评估员开发三个级别的访问权限。随着时间的推移，我们希望有多个评估员达到第三级别，每个团队都将发布他们对我们风险状况和关键决策的分析。

在第一级别，评估员进行范围狭小的风险调查。我们决定提供给第一级别评估员的访问权限，评估员可以在获得我们批准后发布他们的发现。

在第二级别，评估员无需我们的批准即可发布，并且他们可以访问更多信息。我们仍然可以要求删除特定类别的信息，尽管评估员可以发布他们对我们的删除是否合理的看法。

第三级别是我们与 METR 的安排，员工般的访问权限和发布权利类似于第二级别。

SecureBio 正在审查我们的 八月风险报告 中的化学和生物武器章节，在完成并 发布了对我们先前风险报告的试点审查 之后。完成审查后，我们将考虑转向具有更高访问权限的项目。³

与 Accenture 和 Faculty，我们正在 朝着一项雄心勃勃的伙伴关系 努力，其中包括评估和红队测试模型、进行对齐评估、测试模型安全措施以及在我们组织中建立能力。

我们自愿嵌入评估员，并且我们相信每个前沿人工智能公司都应该这样做。