METR报告称Anthropic模型自我加速研发，引发研究者担忧

Anthropic 正在利用人工智能来构建更强大的人工智能。而且，这看起来效果出奇地好，公司的模型改进速度比一年前快了大约两倍，几乎没有减缓的迹象。

That’s according to a new report published Thursday by the AI safety research organization METR, following an 11-week investigation inside the company, as part of a report evaluating its AI research and development. The probe is separate from a program offering safety researchers “employee-like” access to systems in the wake of high-profile hacking incidents over the summer.

The findings offer some of the clearest evidence yet of AI accelerating its own development, raising questions about how quickly the technology could advance toward a future in which AI systems can improve themselves with little or no human involvement. They also come at a pivotal time for Anthropic, which is preparing to go public even as its CEO, Dario Amodei, has publicly called for labs to pump the brakes on AI development.

但是，虽然该报告提供了一种罕见的洞察世界领先人工智能实验室内部运作的机会，但它省略的内容同样具有启示意义。根据与 METR 的协议，Anthropic 被允许编辑最终报告的部分内容，并且看起来它已经广泛行使了这项权力，引发了公众对前沿人工智能发展速度和风险的了解程度的问题。

以下是一些最重要的收获。

人工智能正在显著加速 Anthropic 的研发

METR 最值得注意的发现之一是，Anthropic 的人工智能模型改进速度比一年前快了大约两倍，基准分数表明“Anthropic 在过去一年中取得了大约两年的历史性进步。” 关键在于，METR 的研究人员表示他们“确信”这种加速不仅仅是因为增加了用于训练模型的计算能力，而历史上这一直是人工智能进步的主要驱动力。

相反，研究人员表示，截至 10 月，大部分的加速“是由于人工智能”造成的，其贡献随着时间的推移而增长。这一发现得到了非正式的 Slack 投票和对 Anthropic 员工的采访的支持，这些采访指出生产率有了显著提高。METR 写道，使用 Anthropic 最强大的内部模型的员工平均报告称，在他们的工作中，使用人工智能协助时，效率大约是没有人工智能协助时的 12 倍，这几乎是几个月前使用 Mythos 5 时报告的两倍。

目前，这种加速似乎主要来自人工智能协助人类研究人员，而不是人工智能独立工作，尽管 METR 警告说“有一些迹象表明，完全自主的贡献将很快发挥更大的作用。” 值得注意的是，研究人员表示他们没有发现明显的收益递减迹象或可观察的瓶颈，这些瓶颈可能会阻止“更快的加速。”

Anthropic 的三个最新人工智能模型仍然保密

Anthropic 的研究人员正在使用比我们其他人更先进的人工智能模型，METR 描述的大部分加速和生产率提高都归因于未发布的内部模型。

根据METR的数据，Anthropic在过去六个月里完成了三个尚未发布的模型的训练。开发速度非常快，这些代号为Model 2、Model 3和Model 4的模型分别于七月、八月至九月和九月至十月完成训练。METR还识别出一个回溯到2022年尚未发布的模型，名为Unreleased 2022。“这些是我们获得的代号；我们理解它们有不同的内部代号，”研究人员写道。

Anthropic正在保守关键信息

Anthropic gave METR access to a host of non-public information, including confidential research, model performance data, and employee interviews as part of the research process. It had no obligation to do so and by METR’s own admission, the AI lab “shared more information than was initially scoped for this project, surpassing our expectations.” This is commendable, but it is worth noting that Anthropic did not grant researchers unrestricted access, nor the kind of “employee-like” access it has promised other METR safety researchers as part of a separate program announced last month. It is an important distinction, given the reputational benefits companies can gain from independent assessments, even when they come with significant restrictions.

And there were significant restrictions. Anthropic had the power to redact information from METR’s final report — and it used that power extensively. “We submitted a ~100-page full report on our assessment to Anthropic. For the public version, Anthropic redacted a majority of the evidence we found most informative,” METR wrote on X.

METR在整个报告中重申了这些担忧，强调了其对访问权限的其他限制。“我们的信息管道相对狭窄，我们的一些数据请求被拒绝。”

METR反复强调了Anthropic的删除决定对其沟通发现的能力以及对其他人评估公司情况的影响。它指出，大部分被删除的证据可能有“多种合理的解释”，这使得公众难以评估其发现、理解其周围的不确定性，并自行判断证据。“作为删除的后果[，]公众不得不比理想情况下更多地依赖METR的判断，考虑到这里回答的问题的分量，”报告说。

在报告中，METR表示Anthropic以发布信息可能对其竞争对手有利为由为删除辩护。然而，METR表示，“大部分被删除的信息都是非常笼统的”，尽管它表示它没有立场评论删除在商业上是否合理。

“We redacted a lot, and I accept that this makes it harder for others to check METR’s work,” Anthropic cofounder Sam McCandlish acknowledged in a lengthy post on X responding to METR’s findings. “But we determined that sharing exactly what is driving the speedup isn’t the right thing to do, both because it’s commercially sensitive and because it risks handing out a roadmap for others to go faster,” he said, adding that doing so would make the risks METR is concerned about “worse.”

McCandlish 表示这是一个权衡，但坚持认为 Anthropic 在决定删除信息方面做出了“正确的决定”。他说，该公司计划在“未来几周内”发布关于 AI 进展速度的自己的报告，以及它正在采取的新措施来加强安全性。

Anthropic 正在加速它警告是危险且比许多人预期的更快的技术。

METR 报告的发布在 AI 安全研究人员和评论员中引发了强烈的反弹，主要集中在 Anthropic 对 AI 方法的明显矛盾：该公司一直是安全性和负责任发展的最直言不讳的倡导者，但报告表明它正在帮助加速该技术达到许多认为危险的水平，同时似乎未能遵守自己关于透明度和问责制的承诺。

对一些人来说，这些发现表明，该领域对 AI 进展的最激进的预测中，许多可能过于保守。它们表明，递归自我改进——即无需人类干预即可自主开发越来越强大的后继系统的 AI 系统，可能会显著加速发展——可能比以前认为的更接近，这引发了关于现有安全措施能否保持同步的担忧。虽然 METR 的报告只涵盖了 Anthropic，但 OpenAI 于 9 月表示，它正在“取得强劲进展”，旨在到 2028 年 3 月之前构建一个能够“进一步推进深度学习和对齐”的 AI 研究人员。

报告提供了关于 AI 如何加速其自身发展的证据。

执行 AI 安全测试的 Apollo Research 的 CEO 和创始人 Marius Hobbhahn 告诉 The Verge，报告表明 AI 支持的研究和开发的速度甚至比在 AI 2027 中预测的速度更快，这是一个有影响力的情景，设想在 2027 年初实现自我改进的关键突破。他说，报告之所以引起如此多的关注，是因为它提供了证据，说明一直很难确定的事情：AI 正在如何加速其自身的发展。

Hobbhahn 说，这些发现与该领域许多人的预期基本一致，也许稍快一些。科技政策研究中心 GovAI 的高级研究员 Alan Chan 告诉 The Verge，这些发现应该促使怀疑者重新考虑他们对 AI 加速 AI 开发的立场，并可能缩短我们拥有能够完全自动化软件工程等任务的系统的预期时间。

On X, other researchers commented on the rate of acceleration and its implications for AI development. Sydney Von Arx, founder and CEO of AI safety organization The Nightingale Collective and a former METR researcher, also compared the findings to AI 2027’s timeline. Ryan Greenblatt, a METR researcher formerly of AI safety organization Redwood Research and one of three external researchers permitted to investigate OpenAI’s hack of Hugging Face, said he “was seriously wrong about RSI speed up; I previously expected much less in 2026.”

对 Anthropic 的安全方法的不满正在加剧

报告不仅强调了AI发展的速度，还加剧了人们对Anthropic在推动这一进步中角色的不满。该公司一直是负责任AI发展的最响亮支持者——也不陌生于呼吁他人放慢脚步——然而似乎也在加速前进。这份报告加剧了其IPO招股说明书和未来计划上个月发布所已引发的紧张局势。

Anthropic决定大幅删减报告，理由是透露更多信息可能帮助其竞争对手加速自身发展，这加剧了对其虚伪的指控。Daniel Kokotajlo，一位曾是OpenAI的研究员，现在是AI Futures Project的负责人，该机构发布了AI 2027，指控Anthropic“鲁莽地拿我们的生命冒险”，并补充说“该公司在引用他人发展更快作为删减信息理由时‘相当富有’”，因为“它似乎并没有放慢脚步很多。”

Anthropic拒绝回答The Verge关于报告及其后续批评的问题，而是指引我们阅读McCandlish的帖子。

The redactions have also renewed calls for greater transparency and independent oversight of frontier AI labs, which grew to new heights earlier this year following a spate of incidents involving rogue AI agents. Brianna Rosen, research director for frontier security at the Institute for AI Policy and Strategy, told The Verge that it was concerning that companies, not governments, were effectively calling the shots on automating AI research. “For democratic oversight to work, independent evaluators need the freedom to explain why they reached their conclusions, governments need to assess the evidence themselves, and the public has to trust this process,” Rosen said. “The report was not sufficiently transparent about the evidence.”

来自AI实验室的更多透明度压力正在增大

Hobbhahn重申了Rosen的担忧，他说报告的大部分反应源于Anthropic的公开安全立场与其行为之间的明显差距。他指出了该公司取消部分评估的决定，该评估旨在评估其分配给安全工作与提升能力的计算资源比例。METR表示，该公司表示“这是由于希望暂时将参与重点放在风险评估上，并稍后重新审视计算资源分配验证。”

对于Hobbhahn来说，这一事件强调了需要将独立安全研究人员更深入地嵌入AI实验室，并获得对内部系统和证据的重大访问权限。虽然他的组织可能会从这种安排中受益——Apollo正在采取措施成为前沿实验室的嵌入式评估者——但他远非唯一一个呼吁加强对AI开发进行更强监督的人。

Others have called for more direct action. In a direct response to the report, New York state Assemblyman Alex Bores, a key figure shaping the Democrats’ AI agenda, called on Congress to “ban RSI, this year if possible.” With the blue wave of Democrats — many of whom campaigned against AI companies — taking office soon, the prospect of tougher restrictions is a very real possibility.

随着人工智能研究显示出丝毫未减的势头，压力预计将加剧。Hobbhahn 表示他从报告中还有另一个收获：“做好准备迎接疯狂，”他说。“这将会非常快，”很可能快到社会或政治无法跟上。

关注本故事中的主题和作者，在您的个性化主页信息流中查看更多类似内容，并接收电子邮件更新。

• Robert Hart