Anthropic研究实测AI智能体的自主性

AI 代理已经出现，并且它们已经被部署在后果差异很大的各种环境中，从邮件筛选到 网络间谍活动。理解这个范围对于安全部署 AI 至关重要，然而我们对人们如何在现实世界中实际使用代理知之甚少。

我们使用我们的 隐私保护工具 分析了数百万次人类与代理的交互，涵盖了 Claude Code 和我们的公共 API，以提出这样的问题：人们授予代理多少自主权？随着人们获得经验，这种自主权会如何变化？代理在哪些领域运行？代理采取的行动是否具有风险？

我们发现：

• Claude Code 正在更长时间地独立工作。 在最长的会话中，Claude Code 在停止之前工作的时间在三个月内几乎翻了一番，从不到 25 分钟增加到超过 45 分钟。这种增加在模型发布过程中是平稳的，这表明它不仅仅是能力提高的结果，而且现有的模型在实践中能够比它们实际执行的拥有更多的自主权。
• Claude Code 的经验用户更频繁地自动批准，但更频繁地中断。 随着用户获得与 Claude Code 的经验，他们倾向于停止审查每个操作，而是让 Claude 独立运行，只在需要时干预。在 新用户中，大约 20% 的会话使用完整自动批准，随着用户获得经验，这一比例增加到超过 40%。
• Claude Code 比人类更频繁地暂停以寻求澄清。 除了人类发起的停止之外，代理 发起的停止也是部署系统中监督的重要形式。在最复杂的任务中，Claude Code 暂停以寻求澄清的频率是人类中断它的两倍以上。
• 代理被用于有风险的领域，但尚未大规模使用。 我们公共 API 上大多数代理操作都是低风险且可逆的。软件工程占代理活动近 50%，但我们看到了在医疗保健、金融和网络安全领域的新兴使用。

下面，我们更详细地介绍了我们的方法和发现，并在最后提出了针对模型开发人员、产品开发人员和政策制定者的建议。我们的中心结论是，有效的代理监督将需要新的部署后监控基础设施 和 新的人类-AI 交互范式，这些范式有助于人类和 AI 一起管理自主权和风险。

我们将我们的研究视为一个小的但重要的第一步，朝着实证理解人们如何部署和使用代理的方向前进。我们将继续改进我们的方法，并在代理更广泛地被采用时沟通我们的发现。

在野外研究代理

代理很难进行实证研究。首先，没有关于代理 是什么 的公认定义。其次，代理正在快速演变。去年，许多最复杂的代理——包括 Claude Code——都涉及单个对话线程，但今天有可以独立运行数小时的 多代理系统。最后，模型提供者对其客户代理的架构只有有限的可见性。例如，我们没有可靠的方法将独立请求关联到我们的 API 上的“代理活动会话”。（我们在本文的末尾更详细地讨论了这一挑战。）

鉴于这些挑战，我们如何进行代理的实证研究？

首先，为了这项研究，我们采用了一个概念上扎实且可操作的代理定义：代理是一个配备工具的AI系统，这些工具允许它采取行动，比如运行代码、调用外部API以及向其他代理发送消息¹。研究代理使用的工具可以让我们深入了解它们在现实世界中的活动。

接下来，我们开发了一系列指标，这些指标基于我们公共API的代理使用和Claude Code（我们自己的编码代理）的数据。这些指标在广度和深度之间提供了权衡：

• 我们的公共API让我们能够广泛地了解跨数千个不同客户的代理部署。我们没有试图推断客户的代理架构，而是将我们的分析层次设定在单个工具调用上²。这种简化的假设使我们能够对现实世界的代理做出扎实、一致性的观察，即使这些代理部署的上下文差异很大。这种方法的局限性在于我们必须孤立地分析行动，并且无法重建单个行动如何随时间组合成长行为序列。
• Claude Code提供了相反的权衡。由于Claude Code是我们自己的产品，我们可以跨会话链接请求，并了解整个代理工作流程从开始到结束。这使得Claude Code特别适用于研究自主性——例如，代理在没有人工干预的情况下运行多长时间、什么触发了中断，以及用户如何随着经验的积累保持对Claude的监督。然而，由于Claude Code只是一个产品，它并不像API流量那样提供对代理使用的多样性洞察。

通过利用我们的隐私保护基础设施从这两个来源中汲取信息，我们可以回答单独使用任何一个都无法解决的问题。

Claude Code正在自主运行更长时间

代理实际上在没有人工参与的情况下运行多长时间？在Claude Code中，我们可以通过跟踪Claude开始工作到停止工作（无论是完成任务、提出问题还是被用户中断）之间经过的时间，直接测量这一点，以回合为单位³。

回合持续时间是对自主性的一个不完美的代理⁴。例如，更强大的模型可能更快地完成同样的工作，而子代理允许同时进行更多的工作，这两者都倾向于更短的回合⁵。同时，随着时间的推移，用户可能尝试更雄心勃勃的任务，这会推动更长的回合。此外，Claude Code的用户群正在迅速增长——因此也在变化。我们不能孤立地测量这些变化；我们测量的是这种相互作用的总结果，包括用户允许Claude独立工作的时间、他们给它的任务的难度以及产品本身的效率（它每天都在改进）。

Claude 代码的交互通常都很短。中位数交互时长约为 45 秒，在过去几个月中（40 到 55 秒之间）只有轻微波动。事实上，几乎所有低于 99 个百分位的交互时长都相对稳定。⁶ 这种稳定性是我们预期中快速增长的产品的表现：当新用户采用 Claude 代码时，他们的经验相对较少，并且——正如我们在下一节所示——不太可能授予 Claude 完全的自主权。

更有揭示性的信号出现在交互的尾部。最长的交互时长告诉我们关于 Claude 代码最雄心勃勃的使用方式，并指向自主性的发展方向。在 2025 年 10 月到 2026 年 1 月期间，99.9 个百分位的交互时长几乎翻了一番，从不到 25 分钟增加到超过 45 分钟（图 1）。

值得注意的是，这种增加在模型发布过程中是平滑的。如果自主性纯粹是模型能力的一个函数，我们预期每次新发布都会有显著的跳跃。这种趋势的相对稳定性反而表明有几个潜在因素在起作用，包括高级用户随着时间的推移与工具建立信任、将 Claude 应用于越来越雄心勃勃的任务，以及产品本身的改进。

自1月中旬以来，极限转弯持续时间有所下降。我们假设了几种可能的原因。首先，Claude Code的用户群翻了一番，从1月到2月中旬，更大、更多样化的会话群体可能会重塑分布。其次，随着用户从假期中返回，他们带到Claude Code的项目可能从个人爱好项目转变为更严格界定的工作任务。最有可能的是，这是这些因素以及其他我们尚未确定的因素的组合。

我们还研究了 Anthropic 内部 Claude 代码的使用情况，以了解独立性和实用性是如何共同发展的。从 8 月到 12 月，Claude 代码在内部用户最具挑战性的任务上的成功率翻了一番，同时每次会话的平均人工干预次数从 5.4 次减少到 3.3 次。⁷ 用户正在授予 Claude 更多自主权，并且至少在内部，他们能够实现更好的结果，同时需要干预的次数更少。

这两种测量都指向一个显著的部署滞后，即自主性模型能够处理的能力超过了它们在实际中实际行使的能力。

将这些发现与外部能力评估进行对比是有用的。最广泛引用的能力评估之一是 METR 的“衡量 AI 完成长任务的能力”，该评估 估计 Claude Opus 4.5 可以在 50% 的成功率下完成人类需要近 5 小时才能完成的任务。相比之下，Claude 代码的 99.9 个百分位交互时长约为 42 分钟，中位数要短得多。然而，这两个指标不能直接比较。METR 评估捕捉了模型在理想化设置中（没有人交互和现实世界后果）能够做什么。我们的测量捕捉了实际发生的情况，其中 Claude 会暂停以请求反馈，用户会中断。⁸ 并且 METR 的五小时数字衡量的是任务难度——即人类完成任务需要多长时间，而不是模型实际运行的时间。

无论是能力评估还是我们的测量单独都不能完全描绘代理的自主性，但它们一起表明，实践中授予模型的自主权落后于它们能够处理的能力。

经验丰富的用户在Claude Code中更频繁地自动批准，但更频繁地中断

人类如何随着时间的推移调整他们与代理合作的方式？我们发现，随着人们使用Claude Code的经验增加，他们赋予其更多的自主权（图2）。新用户（<50次会话）大约20%的时间使用完整自动批准；到750次会话时，这增加到超过40%的会话。

这种转变是渐进的，表明信任的稳步积累。值得注意的是，Claude Code的默认设置要求用户手动批准每个操作，因此这种转变的一部分可能反映了用户配置产品以匹配他们对更大独立性的偏好，因为他们熟悉Claude的功能。

批准操作只是监督Claude Code的一种方法。用户也可以在Claude工作时中断它以提供反馈。我们发现，中断率随着经验而增加。新用户（大约有10次会话）在5%的回合中中断Claude，而更有经验的用户在大约9%的回合中中断（图3）。

中断和自动批准都随着经验而增加。这种明显的矛盾反映了用户监督策略的转变。新用户更有可能在采取每个操作之前批准它，因此很少需要在执行中途中断Claude。有经验的用户更倾向于让Claude自主工作，在出现问题时或需要重定向时介入。更高的中断率也可能反映了用户积极监控，他们更善于判断何时需要干预。我们预计每回合中断率最终会趋于平稳，因为用户会稳定到一种稳定的监督风格，事实上，在最有经验的用户中曲线可能已经趋于平缓（尽管在高会话次数时置信区间扩大使得这难以确认）⁹。

我们在公共API上看到了类似的模式：87%的简单任务（如编辑一行代码）的工具调用有人类参与，而只有67%的复杂任务（如自主寻找零日漏洞或编写编译器）的工具调用有人类参与¹⁰。这可能看起来有些反直觉，但有两个可能的解释。首先，随着步骤数量的增加，逐步批准变得不太实际，因此监督复杂任务中的每个操作在结构上更困难。其次，我们的Claude Code数据显示，有经验的用户倾向于赋予工具更多的独立性，而复杂任务可能更多地来自有经验的用户。虽然我们不能直接测量我们公共API上的用户任期，但整体模式与我们观察到的Claude Code中的情况一致。

综合来看，这些发现表明有经验的用户并不一定放弃监督。中断率随着经验增加以及自动批准的增加表明某种形式的活动监控。这加强了我们在之前提出的观点：有效的监督并不需要批准每个操作，而是在重要时刻能够干预。

Claude Code比人类更频繁地暂停以获取澄清

人类当然不是唯一影响自主性在实践中如何展开的行动者。Claude 也是积极的参与者，当它不确定如何进行时，会停下来寻求澄清。我们发现，随着任务复杂性的增加，Claude Code 更频繁地寻求澄清——并且比人类选择中断它的频率更高（图4）。

在最复杂的任务上，Claude Code 寻求澄清的频率比在最小复杂性的任务上高出两倍以上，这表明 Claude 对自己的不确定性有一定的校准。然而，重要的是不要过分强调这一发现：Claude 可能没有在正确的时刻停止，它可能会提出不必要的问题，它的行为可能会受到产品功能（如 计划模式）的影响。无论如何，随着任务的变难，Claude 越来越通过停止咨询人类来限制自身的自主性，而不是要求人类介入。¹¹

表1 显示了 Claude Code 停止工作和人类中断 Claude 的常见原因。

这些发现表明，代理发起的停止是部署系统中的一种重要监督方式。训练模型识别并对其自身的 uncertainty 采取行动是一项重要的安全特性，它补充了权限系统和人工监督等外部安全措施。在 Anthropic，我们训练 Claude 在面对模糊任务时提出澄清问题，并鼓励其他模型开发者这样做。

代理被用于风险领域，但尚未大规模使用

人们使用代理做什么？这些部署有多大的风险？这些代理有多自主？风险与自主性是否相互权衡？

为了回答这些问题，我们使用 Claude 来评估我们公共 API 中单个工具调用的相对风险和自主性，范围从 1 到 10。简而言之，风险评分为 1 反映的是如果出现问题时没有任何后果的行动，而风险评分为 10 包括可能导致重大损害的行动。我们对自主性使用相同的评分标准，低自主性意味着代理似乎在遵循明确的人类指令，而高自主性意味着它在独立运行。¹³ 然后，我们将相似的行动分组到集群中，并计算每个集群的平均风险和自主性评分。

表 2 提供了风险和自主性极端集群的示例。

鉴于我们对这些代理的有限可见性，这些行动可能是模拟的（例如，我们没有办法确定 Claude 下达的金融交易是否真的被执行，并且我们相信许多“数据窃取”是评估）。虽然这些高风险行动在总体流量中的比例很少，但单个错误的后果仍然可能很严重。

我们发现 80% 的工具调用来自看起来至少有一种保护措施（如限制权限或需要人工批准）的代理，73% 看起来在某些方面有人参与，而只有 0.8% 的行动看起来是不可逆的（例如向客户发送电子邮件）。¹⁴

为了可视化所有集群中风险和自主性的联合分布，我们在两个维度上根据每个集群的平均分数绘制每个点。图 5 中的每个点对应一个相关行动的集群，其位置由其平均风险和自主性决定。

The绝大多数对我们公共API的操作都是低风险的。但尽管大多数代理部署相对无害，我们看到了一些在风险和自主性前沿的新颖用法¹⁵。风险最高的集群——再次，我们预计其中许多是评估——往往涉及敏感的安全相关操作、金融交易和医疗信息。虽然风险集中在刻度低端，但自主性变化范围更广。在低端（自主性分数为3-4），我们看到代理为人类完成小型、范围明确的任务，比如预订餐厅或对代码进行小的修改。在高端（自主性分数高于6），我们看到代理将机器学习模型提交到数据科学竞赛或对客户服务请求进行分诊。

我们还预计，在风险和自主性极端操作的代理将变得越来越普遍。今天，代理集中在单一行业：软件工程占我们公共API上工具调用近50%（图6）。除了编码之外，我们在商业智能、客户服务、销售、金融和电子商务等领域看到了一些较小的应用，但没有一个超过几个百分点的流量。随着代理扩展到这些领域，其中许多比修复一个错误具有更高的风险，我们预计风险和自主性的前沿将扩大。

这些模式表明我们正处于代理采用的早期。软件工程师是第一个大规模构建和使用代理工具的人，图6表明其他行业也开始尝试使用代理¹⁶。我们的方法使我们能够监控这些模式随时间推移的变化。值得注意的是，我们可以监控使用是否倾向于更自主和更具风险的任务。

虽然我们的主要数字令人放心——大多数代理操作都是低风险且可逆的，并且人类通常在回路中——这些平均值可能会掩盖前沿的部署。软件工程中采用的集中，加上在新领域日益增长的实验，表明风险和自主性的前沿将扩大。我们在本文末尾的建议中讨论了这对模型开发人员、产品开发人员和政策制定者意味着什么。

局限性

这项研究只是一个开始。我们只提供了对代理活动的部分视图，我们想要坦诚地说明我们的数据可以和不能告诉我们：

• 我们只能分析来自单个模型提供者的流量：Anthropic。基于其他模型的代理可能显示出不同的采用模式、风险概况和交互动态。
• 我们的两个数据来源提供了互补但不完整的视图。公共API流量使我们能够跨越数千个部署进行广泛分析，但我们只能孤立地分析单个工具调用，而不是完整的代理会话。Claude Code给我们提供了完整的会话，但仅限于一个主要用于软件工程的产品。我们许多最强的发现基于Claude Code的数据，可能无法推广到其他领域或产品。
• Our classifications are generated by Claude. We provide an opt-out category (e.g., “not inferable,” “other”) for each dimension and validate against internal data where possible (see our Appendix for more details), but we cannot manually inspect the underlying data due to privacy constraints. Some safeguards or oversight mechanisms may also exist outside the context we can observe.
• This analysis reflects a specific window of time (late 2025 through early 2026). The landscape of agents is changing quickly, and patterns may shift as capabilities grow and adoption evolves. We plan to extend this analysis over time.
• Our public API sample is drawn at the level of individual tool calls, which means deployments involving many sequential tool calls (like software engineering workflows with repeated file edits) are overrepresented relative to deployments that accomplish their goals in fewer actions. This sampling approach reflects the volume of agent activity but not necessarily the distribution of agent deployments or uses.
• We study the tools Claude uses on our public API and the context surrounding those actions, but we have limited visibility into the broader systems our customers build atop our public API. An agent that appears to operate autonomously at the API level may have human review downstream that we cannot observe. In particular, our risk, autonomy, and human involvement classifications reflect what Claude can infer from the context of individual tool calls, and do not distinguish between actions taken in production and actions taken as part of evaluations or red-teaming exercises. Several of the highest-risk clusters appear to be security evaluations, which highlights the limits of our visibility into the broader context surrounding each action.

Looking ahead

We are in the early days of agent adoption, but autonomy is increasing and higher-stakes deployments are emerging, especially as products like Cowork make agents more accessible. Below, we offer recommendations for model developers, product developers, and policymakers. Given that we have only just begun measuring agent behavior in the wild, we avoid making strong prescriptions and instead highlight areas for future work.

Model and product developers should invest in post-deployment monitoring. Post-deployment monitoring is essential for understanding how agents are actually used. Pre-deployment evaluations test what agents are capable of in controlled settings, but many of our findings cannot be observed through pre-deployment testing alone. Beyond understanding a model’s capabilities, we must also understand how people interact with agents in practice. The data we report here exists because we chose to build the infrastructure to collect it. But there’s more to do. We have no reliable way to link independent requests to our public API into coherent agent sessions, which limits what we can learn about agent behavior beyond first-party products like Claude Code. Developing these methods in a privacy-preserving way is an important area for cross-industry research and collaboration.

模型开发者应该考虑训练模型识别自身的不确定性。 训练模型识别自身的 uncertainty 并主动向人类暴露问题是一项重要的安全特性，它补充了外部安全措施，如人工审批流程和访问限制。我们训练 Claude 做到这一点（我们的分析表明，Claude Code 比人类更频繁地提问），并鼓励其他模型开发者也这样做。

产品开发者应该设计用于用户监督。 有效监督代理需要的不只是将人类置于审批链中。我们发现，随着用户对代理的使用经验增加，他们倾向于从批准单个操作转向监控代理的行为并在需要时进行干预。例如，在 Claude Code 中，经验丰富的用户会更多地自动批准，但也更多地中断。我们在公共 API 上也观察到类似的模式，随着目标复杂性的增加，人类参与的迹象似乎减少。产品开发者应该投资于工具，为用户提供对代理行为的可信赖的可见性，以及简单的干预机制，允许他们在出问题时重新引导代理。这是我们继续为 Claude Code 投资的领域（例如，通过 实时引导 和 OpenTelemetry），并鼓励其他产品开发者也这样做。

现在还太早来强制特定的交互模式。 在某个领域，我们确实有信心提供指导，那就是 什么 不应该强制。我们的研究结果表明，经验丰富的用户会从批准单个代理操作转向在需要时进行监控和干预。规定特定交互模式的监督要求，例如要求人类批准每个操作，将产生摩擦而不一定能带来安全效益。随着代理和代理测量科学的成熟，重点应该放在人类是否能够有效地监控和干预，而不是要求特定的参与形式。

这项研究的一个核心教训是，代理在实践中行使的自主性是由模型、用户和产品共同构建的。Claude 通过在不确定时暂停并提问来限制自身的独立性。随着用户与模型一起工作，他们逐渐建立信任，并相应地调整他们的监督策略。我们在任何部署中观察到的现象都源于这三个因素，这也是为什么不能仅通过部署前的评估来完全描述的原因。了解代理的实际行为需要在实际环境中测量它们，而进行这种测量的基础设施仍然处于萌芽阶段。

附录

我们在本文的 PDF 附录 中提供了更多详细信息。