Anthropic 在修订版 S-1 中警告接近 RSI 能力

While much attention has focused on the updated financials Anthropic revealed in its revised S-1A on Monday, (revenue is soaring, but so are expenses), the AI lab dropped another little bombshell in the fine print.

这份文件似乎警告说，该公司即将创造出一种能够递归自我改进（RSI）的模型。

RSI是指人工智能在自我训练方面变得如此出色，以至于它会产生人工智能能力的急剧加速。对于人工智能末日论者来说，RSI代表着无法挽回的灾难，其中人工智能会构建出一种足够强大的东西，以至于它超越人类控制，并在实现其目标时可能对它造成的损害漠不关心。

对于人工智能爱好者来说，RSI，或者说某种形式的人工智能可靠地利用自身来改进，代表着这项技术的承诺，其中它成为了一种难以想象的生产力工具、科学发现工具等等。

Anthropic似乎认为RSI既是一种承诺也是一种危险。它在S-1中表示，该公司在其研发中使用人工智能，但警告说：“利用人工智能来帮助构建更强大的人工智能也可能带来相当大的安全风险，特别是如果它急剧加速了进步的速度。这是我们负责任扩展政策所涵盖的一个领域，该政策概述了我们计划在接近所谓的‘递归自我改进’时监测和减轻风险。”

当术语RSI在今年早些时候变得流行时，许多人认为它是一个 buzzword，或者充其量是一个难以实现、定义或证明的目标。

但是周一，Anthropic在其风险因素部分增加了新的声明，称1)该公司已经使用人工智能开发了新的模型，其能力的飞跃在当时没有被认识到，以及2)它可能很快就会达到其自身的RSI内部定义（粗体强调如下）：

此外，我们越来越多地使用人工智能系统来加速我们自己的研发，可能会导致我们模型的能力比我们开发、验证和实施相应的安全、对齐和保密措施的能力发展得更快。因此，我们过去没有识别出，将来也可能不会识别出我们发展速度的显著加速，直到它发生后。

例如，我们的内部估计和我们对未来模型（而不是我们当前的模型）的预期表明，我们可能会立即满足我们负责任扩展政策中定义的“归因于人工智能的显著加速进步”。我们还没有将我们当前的任何模型指定为超过这个阈值，我们继续评估基础数据。

然而，Anthropic也在文件中说，到目前为止，它的模型还没有跨越这个RSI阈值，并且承诺在可预见的未来继续让人类参与研发过程。“我们预计，如果从技术上讲这是可能的，那么在没有有意义的人类监督或理解的情况下，我们将无法安全地使用Claude来完全自主地设计和构建前沿模型的后续几代。因此，我们正在考虑更新我们的负责任扩展政策，以保持人类对Anthropic前沿模型开发的控制。”

怀疑论者可能会指出，S-1的功能既是信息披露也是营销，而声称接近一种如此强大的模型，以至于它可以构建自身的说法可能属于后者。

然而，毫无疑问，Claude 的能力，特别是在编程、数学和网络安全方面，今年已经取得了长足的进步。如果 Anthropic 认为远程感应（RSI）的可能性已经临近，也许我们应该相信它并相应地行动——也许进行管理。

当您通过我们文章中的链接购买时，我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的初创企业/风险投资版块的编辑。

您可以通过电子邮件 [email protected] 或通过 X 上的 @Julie188 联系或核实 Julie 的外联。

查看简介