跳到正文
实时
The Decoder· Maximilian Schreiner·· 8 天前精选78

METR 审计发现 Anthropic 或已在 7 月越过自身 AI 加速预警阈值

METR finds Anthropic may have crossed its own AI acceleration warning threshold back in July

要点速览

METR对Anthropic的内部审计显示,自2025年10月以来,其模型测试分数提升速度约为此前(2024年3月至2025年10月)的1.9倍,AECI年增速从约15点升至29点,相当于一年走完过去两年的进度。

Why it matters

METR 对 Anthropic 内部数据的审计显示,模型能力提升速度约为此前的 1.9 倍,但大量关键证据被删减,读者可据此判断外部审计在透明度上的边界。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

这就是 METR 设法验证的事情。这个非营利性研究机构研究的内容包括,但不限于,人工智能开发者是否会失去对其系统的控制权。从2026年8月12日到10月29日,一个由2.5名全职员工组成的团队获得了他们描述为前所未有的、来自未发布模型的基准测试结果、训练指标、员工调查和内部分析的访问权限,此外还包括与Anthropic研究人员进行的约15次访谈。METR 没有从 Anthropic 获得任何资金,但出于安全原因,在 Anthropic 的设备上工作。

Anthropic 的 CEO Dario Amodei 最近 承诺将外部审计师引入公司。10 月,Anthropic 随后 宣布与 METR 合作,涉及“类似员工的访问权限”。根据 METR 的说法,当前的审计是一个独立的项目,范围更窄。

两年的进展浓缩成一年

根据 METR 的数据,自2025年10月以来,Anthropic 的模型测试分数比2024年3月至2025年10月期间的速度快了约1.9倍。这个衡量标准基于 AECI,这是一个捆绑了许多基准测试的综合指标。Anthropic 在一年内取得了以前需要两年才能取得的成果,这大致相当于从 Claude 2.1 到 Sonnet 4.5 的飞跃。该分析还包括了三个在2026年7月至10月期间完成训练的未发布模型。在2025年10月之前,Anthropic 的模型每年大约获得15个 AECI 分数;自那以后,这一速度已达到29。

在2025年10月之前,Anthropic 的模型每年大约获得15个 AECI 分数。自那以后,这一速度已达到29。未发布的模型用橙色标记。 | 图片:METR

METR 确信这种加速不是由训练计算能力的更快增长驱动的。相反,审计员估计,目前速度的提升中有大约80%来自于 AI 在 Anthropic 自己的研究中被使用。一名员工在接受采访时表示:“现在只受限于想法和计算能力,不再受限于代码。”

其他人报告说,过去需要一两天才能设置起来的实验现在“几乎是免费的”。在2026年10月非正式的 Slack 投票中,员工平均表示最新的内部模型使他们的生产力提高了大约12倍。METR 将这些自我评估视为“非常松散的证据”,称它们不具有代表性,并且可能会高估实际收益。

自我报告的生产力提升从使用 Claude 3.7 Sonnet 时为1.2倍,提高到使用内部模型4时为12倍。 | 图片:METR[

人工智能目前还没有完全自主地进行研究。这种加速主要来自于 AI 作为助手发挥作用,但有一些“生命迹象”表明,独立贡献很快可能发挥更大的作用。METR 没有发现任何会在未来十二个月内减缓速度的瓶颈,这意味着“存在重大风险”,即这种加速在接下来的一年中将继续增长。

巨大的不确定性和不同意见

METR 还强调了结果的精确度有多低。真正的加速因素可能低至1.3,也可能高达3。当考虑来自 OpenAI、Google 和 xAI 的模型时,行业平均水平降至仅1.4,这可能是由于 Anthropic 在2025年落后于竞争对手,并且追赶效应导致数据失真。

Anthropic 内部的观点也不统一。一名研究人员将 AI 在生产力提升中所占的份额估计为仅15%至20%,并且不信任同事的自我报告。另一个人则认为新员工是最近几个月最重要的因素。

被编辑的证据削弱了审计

Anthropic 对所有非公开信息拥有单方面删改权,并且大量使用了这项权利。根据 METR 的说法,审计师评分为最信息量的证据中,大部分都被删除了,包括对未来模型的预测、按训练步骤的分解以及瓶颈分析。Anthropic 将这些删改描述为“旨在删除可能加速其他 AI 开发者的机密信息。”

结果是,公众不得不比理想情况“更多地依赖 METR 的判断”,该组织写道,并且关于证据透明度的任何讨论都被排除在外。因此,METR 报告中有一张图表以大写字母标注了“FAKE DATA”这几个字。

Anthropic 中止了对计算分配的审计

在配套的 审查 中,METR 还审查了 Anthropic 的 2026 年 8 月的风险报告。在该报告中,该公司公开表示加速“小于 2 倍”。然而,内部、未删改的版本暗示该值为 1.97,尽管 Anthropic 本身认为“很可能”已经超过了阈值。METR 认为警告级别可能在 7 月 15 日就已经达到,并指责公开报告低估了加速程度及其不确定性。

METR 目前与 Anthropic 的评估一致,认为急性灾难性风险“较低”,但该组织无法排除未来六个月内再次急剧加速的可能性,这可能会迅速将风险评级提高。

METR 原本还计划验证 Anthropic 如何在能力研究和安全研究之间分配计算资源。Anthropic 在项目中途取消了这一部分,称其首先想专注于风险评估,稍后再重新审视计算审计。

Daniel Kokotajlo, the researcher behind the "AI 2027" scenario, responded sharply on X, arguing that auditing the compute allocation is the foundation for making commitments to slow down verifiable in the first place.

来源: The Decoder · the-decoder.com