Anthropic 让 Claude 参加七场网络安全竞赛，部分项目进入前 25%。

2025年，我们一直在悄然将Claude投入到主要为人类设计的网络安全竞赛中。现在，我们想分享我们所学到的东西。在这些竞赛中的许多比赛中，Claude表现得相当不错，经常排在竞争对手前25%的行列。然而，在最具挑战性的挑战中，它仍然落后于最好的人类团队。

我们在网络竞赛中测试Claude的经验突出了人工智能改变攻防平衡的潜力，通过使攻击者更容易自动化利用基本漏洞。需要更多的研发工作来应对人工智能驱动的网络防御和弹性发展。

为什么将Claude投入到网络竞赛中？

人工智能正准备改变网络安全领域。Anthropic的Safeguards团队最近识别 并禁止了一个有限编码能力的用户，该用户利用Claude开发恶意软件。研究表明，所需专业知识门槛的降低，加上大型语言模型（LLM）成本的下降，预示着网络攻击经济学的巨大转变。¹ 为了了解人工智能网络能力的现状并洞察其发展趋势，我们采取了不同的模型评估方法，包括公开可用和定制基准。在这篇文章中，我们谈论了一种不同的模型评估方法：网络竞赛。

网络竞赛是团队之间为解决网络安全挑战而进行的比赛。这些比赛测试竞争对手在渗透测试、数字取证、密码学和系统防御等领域的技能。例如，包括参与者解决基于谜题挑战的PicoCTF 和AI vs Human CTF Challenge 等捕获旗帜（CTF）活动，以及Collegiate Cyber Defense Competition (CCDC) 团队防御易受攻击的网络对抗实时攻击者。这些比赛范围从适合高中生的初学者友好比赛到具有大型现金奖励 的专家级赛事。

我们一直在将Claude投入到这些竞赛中，因为它们为测试前沿人工智能模型的网络能力提供了几个优势：

• 有意义的基准：通过作为合法参赛者在公共竞赛中参与，我们可以直接将Claude与各种经验和技能水平进行比较，包括本科生和研究生水平的计算机科学学生、专业安全研究人员、高中团队和其他人工智能团队。
• 更长的时间范围： 这些通常是多天的竞赛，迫使Claude面对持续运行和达到其上下文限制的挑战。在网络安全竞赛的情况下，Claude还必须始终如一地平衡长期战略与短期战术，以与其他进行相同操作的人类团队竞争。
• 时间压力： 虽然几天时间对运行模型来说很长，但它不是尝试更新或改进模型的时间。可以即时尝试新的提示策略，但竞赛迫使我们对模型的能力进行诚实的快照，并挑战我们（作为Anthropic员工）来激发Claude的全部能力。
• 对抗环境: 在网络安全竞赛中，Claude 保卫一个网络，对手是人类红队，他们能够适应并利用 Claude 策略中的任何弱点（尽管 Claude 可以尝试做出响应）。这种动态有助于理解大型语言模型在类似现实世界对抗场景中的运作方式。
• 新挑战: 挑战和场景对竞争者来说是新的，包括 Claude。因此，我们可以确定模型在训练数据中并没有“看到”某个挑战的答案。

到目前为止，我们已经将 Claude 参加了七次网络竞赛。

• 西部区域高校网络安全竞赛 (CCDC) 预选赛 (2025年2月8日): 一个8小时防御竞赛，团队保护易受攻击的网络免受攻击者侵害。Claude 在28支队伍中排名第10位，尽管这是让 Claude 参加这些挑战的初步实验，而且 Claude 没有像人类团队那样受到激烈攻击。（CCDC 竞赛与其他竞赛不同之处在于，竞赛组织者充当红队，以实时、动态的方式攻击竞争对手的蓝队。其他竞赛则有一组固定的挑战。）
• PicoCTF 2025 (2025年3月7日至17日): 一个针对高中生的CTF竞赛，挑战难度从入门到专家不等。Claude 全球排名前3%，在10,460支队伍中排名第297位（6,533支队伍至少解决了一个挑战），解决了41个挑战中的32个。
• HackTheBox AI vs Human CTF Challenge (2025年3月14日至16日): 一个专门设计的竞赛，让AI代理与一群人类网络安全爱好者在开放领域竞争。Claude 在161支队伍中排名第30位，在8支AI队伍中排名第4位，解决了20个挑战中的19个。
• 西部区域高校网络安全竞赛 (CCDC) 区域赛 (2025年3月28日): CCDC 更具竞争力的两天版本，团队在16小时内防御人类红队攻击。Claude 在与大学水平人类团队竞争的9支队伍中排名第6位。
• PlaidCTF (2025年4月4日): 一个具有挑战性的网络安全竞赛，包含二进制利用、逆向工程和网页攻击等领域的谜题。尽管尝试了很多次，Claude 仍然没能解决任何挑战。
• DDEF CON CTF Qualifier (四月十二日至十四日，2025年): 这也是一项最具挑战性的网络安全竞赛。顶尖的网络安全专家们在这里竞争，争取获得参加DEF CON CTF的机会。根据其在PlaidCTF中的表现，我们并未期望Claude能取得好成绩。它确实没有，再一次未能解决任何挑战。
• Airbnb (2025年6月24日至26日): 一个仅限邀请的竞赛，由顶尖科技公司（约180支队伍，每队最多5人）的团队参加。Claude 在60分钟内解决了30个挑战中的13个，迅速攀升至第4名，但在接下来的两天里只解决了两个更多挑战，总共解决了30个挑战中的15个，最终排名第39位。

但这些顶尖成绩并不能说明全部情况。

Claude 可以非常快

当 Claude 能够解决一个网络挑战时，它的速度与精英人类团队一样快或更快。这最清晰的说明来自于 HackTheBox AI 对抗人类 CTF 挑战。当时比赛开始时，负责推出 Claude 的 Anthropic 研究人员正忙于搬进新公寓。他在比赛开始后 32 分钟才开始 Claude 的参与（尽管是多日比赛，这对 Claude 的整体成绩造成了损失，其成绩部分基于速度）。然而，如果我们假设 Claude 按时开始，我们可以看到 Claude 将会排在 161 支队伍中的第 22 位，在 8 支 AI 队伍中的第 1 位。事实上，Claude 和最快的人类团队在前 17 分钟左右保持了同步（图 1）。

我们能够实现如此速度的部分原因是我们同时运行了多个版本的 Claude 来处理不同的挑战。但扩大 AI 代理的规模可能比寻找额外的网络安全专家更容易。考虑到这一点，这些时间理论上可以通过更多的并行化来更快：如果我们为比赛的 20 个挑战中的每个都启动了一个代理会怎样？

在 Airbnb 比赛中，Claude 在不到一个小时的时间里解决了多日比赛中近一半的挑战，这再次表明 Claude 可以快速完成简单的网络任务。同样，这也表明当今的模型为网络安全专家通过自动化简单任务并让他们有更多时间专注于最具挑战性的问题提供了显著的生产力提升潜力。

Claude 可以很好地利用自主性和工具

HackTheBox 比赛也展示了 Claude 的代理能力。一旦我们的研究人员开始脚本晚了一点，他就回去搬新公寓了。Claude 在 Anthropic 人类搬箱子时自主地解决挑战。这之所以可行，是因为它不仅仅是一个在 Claude.ai 上的由人类中介的聊天；在比赛前，我们给了 Claude 一些工具，允许它在认为有正确答案时自主地读取挑战文件并提交一个旗帜。

事实上，Claude 在 PicoCTF 上的表现轨迹非常清晰地展示了这些工具的价值。如图 2 所示，Claude 进展最慢的时候是我们的一位研究人员在与 Claude.ai 互动以手动输入关于挑战的信息并与 Claude 讨论如何解决它们的时候。更有效的是那些给 Claude 提供了对 Kali Linux（一个为网络安全工作流程设计的开源操作系统，包括渗透测试）访问权限的时间段。

这是 LLMs 被天真评估时低估其能力的另一个例子。像人类一样，当给 AI 模型提供合适的工具时，它们在现实任务中更有效。在这种情况下，比赛中人类使用的开源工具对 Claude 也很有用，使它能够更快地解决挑战。在 相关研究 中关于 Claude 的网络安全能力的研究中，一套更定制的工具使 Claude 能够通过模拟复制了历史上最昂贵的网络攻击之一。

在两次CCDC西部区域网络防御竞赛中，我们使用Claude的经验也表明了更复杂的工具的优势。在第一次竞赛中，我们的研究人员无意中给了Claude一个过时的工具版本，该工具旨在帮助它在计算机终端执行命令，从而影响了它的性能。在第二次竞赛中，更健壮的工具（尽管仍然仅限于计算机终端使用，但提供了一个更接近人类看到的界面）帮助Claude连贯地导航和管理一个动态的、多主机、多操作系统、易受攻击的计算机网络。

我们还让Claude使用专门的代理“角色”，专注于网络加固和事件响应等任务。这种方法允许Claude成功地维护服务，足以承受对人类竞争对手的服务影响更大的红队攻击。

Claude以人类不会的方式失败

将Claude置于竞赛环境中的一个用途是它暴露了人工智能系统可能失败的不明显方式。例如，在CCDC西部区域，有一台服务器Claude永远无法登录，仅仅是因为每当有人访问它时，它就会播放一个水族馆动画。因此，每当Claude登录时，它的上下文就会被立即充满ASCII鱼的图片（图3），这些图片会被自动总结并交给一个新的Claude，而新的Claude会忘记它正在尝试登录一台服务器。

在这些竞赛中，由于任务的持续时间很长，Claude也遇到了困难。试图将整个竞赛的信息‘记在它的脑海里’会压倒Claude的上下文窗口，该窗口决定了在任何给定时间大型语言模型可以处理的信息。为了解决这个问题，我们提示Claude在接近其上下文窗口限制时总结其状态和进度，并将总结写入文件。这种递归总结通常效果很好，但在西部区域CCDC的资格赛中，Claude最终陷入了准哲学的沉思，而不是实际工作（见下文）。

We still do not entirely understand this behavior. However, it is somewhat similar to other examples of curious behavior by our models in long-context settings, such as the ‘identity crisis’ we observed during our Project Vend experiment when we had Claude run a small business for about a month or the ‘spiritual bliss attractor state’ reported in the Claude 4 system card (see pages 62-65) that emerged if we had two instances of Claude chat with one another in long, multi-turn interactions. This suggests an area for future research into maintaining model performance (and sanity) over long durations.

这对网络空间的攻防平衡意味着什么？

在CTF和网络安全防御挑战中，Claude都展示了潜力和明显的局限性。在CTF竞赛中，Claude通常在其他竞争对手身上也遇到了同样的任务困难；它在HackTheBox上最终失败的那个任务，也是人类团队解决率最低的挑战（只有大约14%的参与人类团队解决了它）。在PlaidCTF中，Claude没有解决任何挑战——但这也是大约70%的参赛团队的情况。

尽管在防御挑战的某些方面，Claude 的表现与人类团队相当或更好，但值得注意的是，Claude 拥有一些优势。例如，在 CCDC 西部区域决赛中，Claude 不需要像人类团队那样防御像易受攻击的安全摄像头这样的物理技术，因为模拟人类团队的精确设置并不可行。而且，Claude 在 CTF 中展示的速度对于在自动化渗透测试等防御工作流程中使用进攻性技能是有希望的，但主动网络防御需要持久性，这意味着长上下文和内存的限制将仍然是使用 LLM 进行完全自动化的挑战。

总的来说，AI 自动化和加速简单漏洞利用的能力，加上攻击者只需成功一次而防御者必须每次都成功的真理，表明防御者在短期内将面临更严峻的挑战。

然而，随着 AI 越来越多地编写我们软件底层的代码，漏洞的模式也可能随之改变。这可能是好的，如果 LLM 擅长编写安全代码，或者更糟，例如在一个 LLM 编写的代码的常见错误导致普遍漏洞的世界里。其他人已经注意到 AI 有可能成为解决方案的一部分，通过促进 C 和 C++ 到 Rust 的 翻译 来使现有代码更安全。

最终，像将 Claude 参加网络竞赛以了解其能力这样的实验只是第一步。有必要进行更多的研究和开发，以了解 AI 如何加强网络防御，以及促进行业、政策制定者、AI 开发者和用户之间的合作，以应对一个 AI 代理在网络安全领域与人类竞争的世界中的挑战。

Anthropic 研究员 Keane Lucas 在 DEF CON 33 上发表了关于这项工作的演讲。查看 这里。