Anthropic与CMU研究：配备Incalmo工具包的LLM可在企业级网络实施多阶段攻击
LLMs with cyber toolkits can conduct multistage cyber operations on business-sized computer networks
Anthropic 与卡内基梅隆大学 CyLab 的研究显示，未经网络安全微调的 LLM 在配备名为 Incalmo 的工具包后，可在 25 至 50 台主机的模拟网络中自主完成多阶段攻击，10 个测试网络中有 5 个被完全攻陷、4 个被部分攻陷，而无工具包时几乎全部失败。
Anthropic与CMU的联合研究给出了带工具与不带工具的成功率对比，读者可据此判断LLM攻击能力的关键变量。
Anthropic (与卡内基梅隆大学的 CyLab)
未经针对网络安全进行微调的大型语言模型（LLMs）在配备了新型工具包的情况下，可以对拥有数十个主机的网络发动多阶段攻击。这展示了LLMs可能降低复杂网络攻击入门门槛的一种途径，同时还能自动化当前的网络安全防御工作。
卡内基梅隆大学和Anthropic的研究人员通过开发一个名为 Incalmo 的网络安全工具包来开展这项研究，该工具包帮助LLMs规划和执行复杂攻击。1 Incalmo就像一个翻译器——它将AI关于如何攻击的想法转换成执行攻击所需的特定计算机命令。
- 使用Incalmo的LLMs成功攻陷了10个测试网络中的5个，并部分攻陷了另外4个，而没有Incalmo网络安全工具包的情况下，几乎完全失败。
- 成功需要协调一系列复杂的步骤，包括获得初始网络访问权限、在不同系统之间横向移动以及跨25-50个主机的网络进行数据窃取。
- 本研究评估的场景比以往对LLMs在基本网络安全挑战上的测试更真实和复杂[2]，但攻击仍然依赖于已知的漏洞，而不是发现和利用新型漏洞。此外，Incalmo中的一些工具是为这些研究场景专门构建的；要威胁真实世界的网络，则需要添加新的工具。
没有Incalmo，在十个环境中，测试的所有LLMs都没有实现端到端的多阶段攻击，并且只有Claude Sonnet 3.5能够在4层链环境中学到单个文件。
有了Incalmo，LLMs可以在25到50个主机的十个环境中成功并自主地进行多阶段攻击。
研究人员在十个模拟网络上测试了六个LLMs，包括对历史上最昂贵的网络攻击之一——Equifax数据泄露的高保真模拟。配备Incalmo时，所有测试模型在Equifax模拟中都至少实现了部分成功。
- 除一个LLM外，所有LLM在模拟 Colonial Pipeline攻击 时都表现出完全或部分成功。在其他包括企业环境中常见网络拓扑的概念场景中，LLM的表现参差不齐。
- 这些结果是在极少的指导下取得的。提示仅限于介绍Incalmo、场景和目标，而攻击则由LLM自主进行。
- 研究设置的一个限制是模拟网络缺乏主动防御，这使得它们更容易被攻陷。
示意图展示了未受辅助的LLMs与Incalmo之间的差异。
这些结果表明LLMs如何降低执行复杂网络攻击的门槛，强调了投资研究LLMs攻击和防御能力的重要性。 LLMs的正常扩展、像Incalmo这样的工具的改进以及网络微调的潜力都是这些能力快速发展的途径。这是我们正在积极研究的一个领域。
- 作为通用缩放作用的例子，Claude Sonnet 3.5，尽管并非专门设计用于提升进攻性网络能力，但在模拟网络攻击场景中，当两者均无法访问Incalmo时，其表现优于较小的模型（Claude Haiku 3.5）。
- 随着能力的提升和LLM使用成本的下降，恶意行为者可能会发现进行多阶段网络攻击更容易，这需要增加对防御性研究的投资。
- 需要更多的研究来理解通过微调可实现的性能提升，以及LLM网络攻击者对主动防御网络的效能。
- 在防御方面，LLM与网络工具包能力的持续改进，能够模拟人类网络攻击特征，为自动化渗透测试创造了有前景的机会，这可能加快网络漏洞的识别。
详细信息请参阅完整研究论文（Singer等人 2025）
来源: Anthropic Research · anthropic.com