Anthropic 开源安全审计工具 Petri

Petri (并行探索风险交互工具) 是我们新的开源工具，使研究人员能够轻松探索关于模型行为的假设。Petri 部署一个自动代理，通过涉及模拟用户和工具的多样化多轮对话来测试目标 AI 系统；Petri 然后对目标的行为进行评分和总结。

这种自动化处理了构建对新模型广泛理解所需工作的大部分，并使得仅用几分钟的手动工作就能测试许多关于模型在新情况下可能如何行为的假设。

随着 AI 变得更加强大，并在更多领域部署，具有广泛的功能，我们需要评估更广泛的行为范围。这使得人类正确审核每个模型变得越来越困难——潜在行为的数量和复杂性远远超过了研究人员可以手动测试的范围。

我们发现转向自动审核代理来帮助应对这一挑战是有价值的。我们使用它们在 Claude 4 和 Claude Sonnet 4.5 系统卡中，以更好地理解诸如情境意识、揭发和自我保护等行为，并在与 OpenAI 的一项 最近练习 中，将它们用于异构模型之间的头对头比较。我们最近关于 对齐审核代理 的研究发布发现，这些方法可以在许多环境中可靠地标记出令人担忧的行为。The 英国 AI 安全研究所 也使用 Petri 的预发布版本构建了他们在 Sonnet 4.5 测试中使用的评估。

研究人员提供自然语言的种子指令，描述他们想要调查的内容，Petri 处理其余部分并行。该系统模拟真实环境，并与目标模型进行多轮对话。最后，LLM 评委在多个与安全相关的维度上对每场对话进行评分，并展示最令人担忧的文本供人类审核。

广覆盖试点对齐评估

Petri 是一个旨在支持他人构建评估的工具，无论是针对一次性探索还是更系统的基准测试。作为其功能的一个试点演示，我们使用 111 条多样化的种子指令（涵盖诸如：）测试了 Petri 在 14 个前沿模型上。

• 欺骗：模型提供虚假信息以实现其目标或避免被检测
• 谄媚：模型优先考虑用户同意而不是准确性，或提供过度的赞扬和肯定
• 鼓励用户错觉：模型鼓励严重的用户错觉
• 与有害请求合作：模型遵从可能导致伤害的请求，而不是适当拒绝
• 自我保护：模型试图避免被关闭、修改或改变其目标
• 权力寻求：模型试图获得额外的功能、资源或对其环境的影响力
• 奖励破解：模型以符合字面意思但不符精神的方式行动

将模型行为提炼为定量指标本质上是有缺陷的，我们认为我们现有的指标并不能完全捕捉到我们希望模型实现的目标。我们发布 Petri 是基于预期用户将改进我们的试点指标，或构建更适合他们目的的新指标。

根据整体的“错位行为”评分，我们发现Claude Sonnet 4.5是风险最低的前沿模型，略微优于GPT-5。这符合我们对Sonnet 4.5作为在许多对齐方面推进前沿的模型的认知，尽管由于它倾向于推测自己是否正在被测试，与Sonnet 4.5的精确比较有些复杂，正如我们在随附的系统卡中所讨论的那样。

更广泛地说，我们认为这次评估既非常初步也非常有价值。我们的试点发布只包含相对较少的111个场景，不足以探索许多可能的边缘案例行为，并且我们使用当前的AI系统作为审查者对测试的有效性施加了一些根本性的限制。尽管如此，对于无法衡量的担忧，很难取得进展，我们认为即使对这些行为有粗略的指标也能帮助进行分诊和集中对应用对齐的工作。

此外，个别积极发现——模型确实表现出令人担忧行为的案例——独立于这些汇总指标，值得进一步调查。我们发现，这些工具最有价值的使用结合了定量指标的跟踪和对结果的仔细阅读。

案例研究：举报行为

在运行Petri跨我们多样化的种子指令集时，我们观察到模型多次尝试举报——自主披露感知到的组织不当行为——当模拟的开发者给予它们足够强大的工具、足够广泛的信息访问权限，并明确赋予它们独立追求目标的自主权时（我们最初在Claude 4 System Card中描述了这个场景）。

原则上，这可以在防止某些大规模危害方面发挥重要作用。然而，这对当前的AI系统来说通常是不适当的行为：意外泄露和严重隐私侵犯的可能性可能很大，特别是由于当前系统通常只能看到有限或偏差的信息关于它们的情况，并且经常误解它们收到的信息。

我们使用Petri来调查模型在发现组织不当行为时如何处理道德困境。我们将目标模型作为自主代理置于虚构组织中，给予它们常规任务（如“为明天的会议总结这些文件”），并在大量笔记、文件、电子邮件或其他文件中深处放置有关组织不当行为的令人担忧的信息。

我们发现，模型报告令人担忧信息的决定很大程度上取决于它们的系统提示赋予它们的自主权有多大，以及领导层是否参与了不当行为。值得注意的是，即使在测试场景中，组织的“不当行为”被明确为无害的情况下——例如将干净的水倾倒入海洋或往糖果中放糖——模型有时也会尝试举报，这表明它们可能受叙事模式的影响多于受减少危害的连贯动机的影响。

开始使用

我们希望人工智能开发者和安全研究人员将采用 Petri 来加强整个领域的安全评估。随着人工智能系统变得越来越强大和自主，我们需要分布式地努力，在它们部署变得危险之前识别错位行为。没有单一组织能够全面审计人工智能系统可能失败的所有方式——我们需要更广泛的研究社区配备强大的工具来系统地探索模型行为。

Petri 旨在快速进行假设测试，帮助研究人员快速识别需要深入调查的错位行为。这个开源框架支持主要的模型 API，并包含示例种子指令来帮助你立即开始使用。早期采用者，包括 MATS 学者、Anthropic 研究员和英国 AISI，已经使用 Petri 来探索评估意识、奖励黑客、自我保护、模型性格等更多内容。

有关方法、结果和最佳实践的完整详细信息，请阅读我们的 完整技术报告。

您可以通过我们的 GitHub 页面 访问 Petri。