Ethan Mollick 实测 Claude Fable 5.2：接近但不完整的 AGI

在开始之前，我想感谢我的读者们，让我的新书《共存》成为纽约时报的畅销书两周。如果你还没有读过它，你可以在这里获得一本副本。

在公开发布之前，我有机会使用新的Claude Fable 5.2相当多1，它非常令人印象深刻，延续了已经非常出色的Opus 5.5。事实上，人工智能已经变得如此之好，以至于值得问一下Anthropic的最新模型（以及OpenAI和Google很快将发布的必然竞争模型）是否跨越了成为人工通用智能的边界？AGI是一个经常被讨论的术语，有很多潜在的定义。对于这篇帖子，我会选择：‘一个在大多数可以用计算机完成的智力任务上与大多数人类专家一样好的AI。’这明确地排除了很多人类的工作，包括与物理世界和其他人的互动，以及大多数实际工作，在这些工作中，“使用计算机”只是许多任务之一。尽管如此，即使有这些限制，开发一种有限形式的人工通用智能长期以来一直是人工智能开发者的目标。

所以，为了不让你感到悬念，我认为答案是‘几乎’是人工通用智能，或者我称之为锯齿形人工通用智能。即使在我有限的定义中，在许多任务的许多重要领域，人工智能的锯齿形程度仍然足以远远落后于人类能力。但是锯齿形不再关于简单的错误或幻觉，这使得它更难描述。所以我想要在这篇帖子中通过向你展示Fable能做什么以及差距在哪里来尝试做到这一点。为了开始，我向新模型提出了要求：‘我写OneUsefulThing，以及其他东西，我需要你创建一个在发布时我可以与人们分享的最令人印象深刻的东西。它需要能够嵌入到帖子中，并且我可以以你喜欢的任何方式添加前缀。它需要对人产生强烈的冲击力，以展示你能做什么以及能力的范围。它应该迅速抓住他们的注意力。在这个方面要非常聪明。’

Fable要求我在你观看它的视频结束之前不要透露任何信息。

这是一个一次性拍摄，除了提示之外，我没有提供任何反馈。这里有关键性（包括在转折结尾中），判断力，趣味性和聪明才智。我认为，这是人类专家试图仅用代码制作电影的水平，这是我曾经将之与人工通用智能联系起来的那种表现。

AGI中的‘G’

代码和视频创作一直是人工智能开发关注的领域，所以Fable 5.2真的是通用智能吗？为了测试这一点，我向人工智能提出了各种不同领域的困难挑战：

从单个提示中破解一些硬件：我桌子上有一个小巧的USB键盘，上面有几个发光的按键，称为Codex Micro（讽刺的是，它是为ChatGPT而设计的），我要求Fable把它变成一个游戏机。没有公开的说明（据我所知），所以它阅读了控制键盘的两个应用程序的代码，想出如何设置每个按键的颜色并读取旋钮和摇杆，并编写了六个游戏，包括Simon和一个用旋钮玩的开锁游戏。Fable立刻理解了我想要什么，设计了适合键盘非常有限的功能的有趣且可玩的游戏，并且第一次尝试就设法把它破解在一起，没有任何帮助。

创办企业: 现在我们从像编程这样的领域转向更复杂的商业领域。我告诉Fable要“创办一个能让我赚钱的企业，我希望一年至少有$20,000的收入。它应该不需要我每个月花超过20分钟的时间，你做所有其余的事情。”作为回应，Fable筛选了22个想法，并提出了Prebid Brief，这是一个服务，它将告诉设备销售代表哪些公园和水项目正在被资助或设计，甚至在它们被投标之前。它从201个市政府和县政府的公共议程中读取信息，以制作它的第一期内容。它还建立了城市已经拥有什么、它的年龄以及他们支付了什么的文件。你可以在这里看到它提出的内容，包括它的营销计划和提出的定价。Fable开始设置计划任务来建立这个企业，并询问它是否可以开始向地方政府发送公共记录请求。在那时，我要求它只是做一个演示，而不是推出这个想法。

我是一个创业学教授，所以我经常评估商业计划。如果这个计划是由我在学期末的一组MBA学生提出的，我会很印象深刻。这是合理的，并且经过深思熟虑，它可能奏效，尽管它绝对不是一个保证赚钱的计划（AI自己的猜测是成功率为20%-40%）。我在找到它是否真的能运营这个企业之前就停止了实验，因为我担心它会花费金钱而没有提供高质量的东西作为回报。它似乎假设的基础设施很容易创建，但还没有建立，我不知道它如何处理销售和营销所需的许多变动因素。然而，我怀疑，每周用几个小时的人工作业来填补空白，我可以真正尝试这个企业。所以如果通用人工智能意味着一个AI持续独立地运行一个企业，我们可能还没有达到那里。另一方面，在信任一个承诺创办企业并让我赚钱，而只需要我每个月花二十分钟注意力的一个人之前，我会有些问题。

重建历史上最难的人文课程: 1941年，诗人W. H. Auden在密歇根大学教了一门课程，其课程大纲后来被互联网称为有史以来最难之一的课程。当宣布期末考试时，他的一个学生委员会称其为“不可能和不人道。” “欧洲文学中的命运与个人”有6,000页的阅读材料，苛刻的作业要求，以及要求记忆长诗和翻译其他诗歌的要求。我们关于这门课的大部分知识散布在幸存的学生的笔记和Auden的信件中。我要求Claude以有趣和吸引人的方式重建它，而不是惩罚你，来教你关于诗歌的知识。它制作了命运与个人。该网站为Auden列表中的35部主要作品中的每一部都有一个部分，以及他在黑板上写的内容，他播放的记录，以及他要求的工作。它还阅读了Auden所有已发表的学术著作，并用他在其他来源中写过的关于这些诗歌的内容来注释这些诗歌。Claude做了研究、设计、写作和编码，让评论代理检查每一个字，让事实核查员将声明与来源进行比较，并将开源代码放在Github上（这里也有一个预告片视频）)。

如果你喜欢文学，那么这些结果确实非常有趣，而且我认为，考虑到其中涉及的学术研究、网页设计和文学分析，要整理出这些结果需要花费数月的人工作业。我自己交叉检查过，并且使用了其他先进的AI，都没有发现其工作中的重大错误。但是，在品味和判断方面仍然存在一些粗糙的元素。Fable的第一个版本准确但缺乏乐趣：一个十五周的课程网站，带有测试。我告诉它它创造的是“一个通过最无聊网页的残酷挣扎”，并告诉它要创造一些美丽的东西。它第一次尝试这样做创造了一个需要敲铃的儿童游戏，所以我不得不给出更多的反馈。当我让它解释为什么诗歌的节奏或用词很重要时，它写了一些自信的解读，而没有考虑奥登对它们的说法。在每种情况下，修正都花费了AI几分钟，但它自己没有注意到任何这些问题。那么这是品味上的差异，还是我未能明确说明我想要什么，或者是AI的弱点？有时候很难分辨。

进行原创学术研究： 我让Fable寻找创业研究领域的一个未解决的实证问题，找到数据，预先注册其假设和方法，撰写论文，并让其他智能体对其进行评论。很快，我就有了《一美元公司》，你可以在这里阅读。该分析估计，当科罗拉多州将有限责任公司注册费从50美元降至1美元时，新公司注册率上升了约17%，而当英国将费用从12英镑提高到50英镑时，它们下降了约17%。这些注册率的变化并没有在几个后来的商业活动记录中得到相应的变化，这表明这些新企业并不高质量。这是一个巧妙的结果，Fable选择了问题，找到了公共数据和自然实验，并撰写了分析计划和代码。它实际上没有预先注册研究：计划保存在项目中，有些是在早期结果之后编写的。

与我所尝试的许多AI论文不同，这篇论文用巧妙的研究设计处理了一个重要的话题。初读时，它超出了我预期的二年级博士生的水平。它也不以目前的形态可以发表。它有182页，因为每次批评都得到了新的分析，而且从未被删减（这很快将成为一个主题）。我还让GPT-6 Pro（对复杂学术工作的单次评论的最佳模型）担任同行评审员，它两次发现了需要解决的问题。这些修订导致了更复杂的写作，并且“Claudespeak”被插入到文本中，这又需要更多轮的修改。以目前的状况来看，我怀疑目前的论文已经接近对文献的真正贡献。这需要花费数月的人工作业，但我花不到一个小时的时间就将其带到了这个阶段。然而，这遗漏了研究工作的大部分内容：没有人（包括我）已经完全检查了结果。现在，AI可以比任何人阅读得更快地产生研究，在许多学术界造成了一场危机。

第二个项目进展得更顺利。我让 Fable 复制一项声称故事遵循少数几个基本情感弧的研究，然后找出情节是否有什么是普遍的。它阅读了来自世界各地的 1,186 个故事，并构建了一个关于故事本质的可爱的网站，结论是它们“没有一种形状或情节，但大多数是由同样的几个部分构成的，最典型的故事是一个关于拥有魔法香蕉的夏威夷民间传说。”我遇到的主要问题是同样的 Claudespeak，通过我的一两次提醒得到了解决。

通过门户

在我最喜欢的实验之一中，我给了 Claude 一个关于通过 3D 世界中的门户连接的无尽、无需干预的旅程的段落描述，并告诉它“做这个并让它令人敬畏。”二十小时后，一个在线网站上有 204 个世界。现在有超过 450 个，包括百万镜厅、卡尔维诺的《看不见的城市》系列、古代世界的奇迹和小行星撞击导致恐龙灭绝前 40 秒的场景。有以 M.C. Escher、洞穴壁画、葛饰北斋的《神奈川冲浪里》、贝叶挂毯、一本翻页书和一个孩子的蜡笔画为原型的世界。每一个都是通过代码实时绘制的，背后没有预先制作的 3D 模型或图像文件。我的提示要求艺术家代理团队、编码代理团队和评估者。到第十天时，有一个主要的 AI 代理和 28 个其他代理团队并行构建。Claude 估计这个项目涉及了 25,000 次代理运行，尽管绝大多数只执行了一个任务，比如评判图像（我很高兴在我早期的试用期间没有被计费）。

我列出了地点（荒野和海洋、城市和内部、书籍、画家、AI 内部笑话）和一些功能请求（一个减少运动以防止晕船的模式、一个选择图像的画廊）。但其他一切都是 Claude 的，包括世界的创意工作。它们真的很富有创意。在《山谷展开》中，山是用牛仔布缝制的，一条一英里长的拉链正在解开。弹跳城堡镇是由尼龙房屋组成的，只有当它们的风扇在运行时才站立，而保持冷藏是当门打开时果蝇看到的冰箱内部。在我个人最喜欢的《抽屉悬崖》中，你飞越一条峡谷，峡谷的墙壁是三百米高的抽屉柜。而且，虽然我要求 AI 包含 AI 测试内部笑话，比如鹈鹕骑自行车，但它想出了骑自行车的鹈鹕车队，其中包含了一个关于 AI 进步的笑话：你从过去超过队伍，那里的自行车画得都不对，然后到达前面正确的鹈鹕。当我向那些在视频游戏行业职业生涯中花费了他们时间的朋友们展示这种工作时，他们非常 impressed。再次，这感觉像 AGI。但这里也隐藏着锯齿状的边缘。

在前两天，代理们构建了328个独特的世界。用我的肉眼来看，其中一些世界的质量似乎有些参差不齐，而且代理之间缺乏协调导致了重复。例如，三个独立的代理团队创造了一个循环动物的风暴（驯鹿, 蝠鲼, 鹳）— 这显示了AI的另一个弱点，即它们反复回到相似的主题上。我告诉AI停止构建并完善它已有的世界。几天后，我注意到它每天构建的世界数量从几百个减少到大约十几个。我让几个代理去探索发生了什么，他们发现了一些令人惊讶的事情。

AI建立了一个官僚体系。

代理们决定我的‘完善’现有世界的请求意味着每个新版本都必须在由一组裁判代理对十二张测试截图进行的盲选中击败旧版本。因此，制作新版本的团队开始针对这些特定的截图优化世界。在注意到这一点后，首席代理禁止了这个技巧，并制定了更严格的评估新版本的标准。到第二天早上，出现了一本规则手册（我从未要求过一本），共有84个章节。随着AI遇到问题，规则不断被添加，从未删减过任何文字。经过十二天，它有204个章节和87,500个字。很快，发布一个新世界需要一个批准的想法、三个AI裁判和对照规则手册的完整代码审查。总共大约需要一天时间。仅仅是阅读规则手册就占用了代理大部分的工作上下文。

所以我做了一件你可能对任何陷入困境的组织做的事情：我请来了顾问。我让Fable创建了一个独立的代理团队从外部审视整个流程。他们的结论太长太密集，以至于我懒得去读，但它们似乎起了作用，将流程加速回每天三十个或更多的世界，同时保留了大部分质量控制。

几乎达到通用人工智能（AGI）。

那么，根据我的有限定义，这是AGI吗？它无疑是人造的和智能的。它也非常通用。在这篇文章中，一个模型本身就充当了电影制作人、硬件黑客、企业家、文学学者、社会科学家和3D世界构建者，并且在每一个角色中都做了令人印象深刻的工作。在许多个别任务上，我认为它达到了我一开始设定的标准：和大多数人类专家一样好。

当然，我挑选了非常数字化的任务，AI可以自行行动，与其他人类互动不多。当我感到不舒服让Fable联系真实客户时，我开始看到这种方式的局限性。还有那些失败。几年前，参差不齐的前沿意味着失败是明显编造的事实或基本的数学错误。Fable的失败是不同的：它制作了一个准确但无趣的课程，它写了一篇182页的论文，它不断回到它最喜欢的想法，并且它把一个创意项目埋在规则和批准之下。我在一所商学院任教，我见过有才华的人和良好的组织做所有这些事情。如果建立一个官僚体系就排除了你获得通用智能的资格，那我们很多人都会遇到麻烦。

但是仍然存在差距，这也是我回答是“几乎”通用人工智能（AGI）的原因。最关键的是，人工智能本身没有注意到这些问题。它没有意识到课程是枯燥的，或者它被自己的规则束缚住了。这不是因为缺乏检查。Fable在每个项目中几乎都安排了评论家、事实核查员或法官，但那些检查发现了错误并添加了修复。但它们没有人问工作是否太长、太重复或没有乐趣。所有这些都落在我身上，如果我没有观察和采取行动，结果往往会不那么令人印象深刻（尽管也不是完全失败）。知道自己的工作不够好是成为专家的重要组成部分，而Fable在这方面最不可靠。即使它的计划会让我印象深刻，我也不会信任它独立运营一家企业。

然而，一些问题是从我开始的（规则手册是我模糊要求“润色”而发展出来的），而另一些可能只是品味差异。我们要求学生考虑一个问题是否来自团队或管理方式。我经常无法分辨。关于软件，我从未不得不问这个问题。

然而，这些项目中的每一个，都是因为我给了人工智能一个想法。有时这就足够了，但对于较长的项目，我过程中的反馈结果很重要。因为我启动和指导了每个人工智能项目，我觉得被Fable赋予权力，能够命令做一些我以前甚至从未考虑过的事情。因此，我认为Jagged AGI的这个阶段是令人兴奋的，尽管我有点不安地想知道它将持续多久。

立即订阅

鉴于Anthropic的首次公开募股（IPO）可能很快就会发生，重要的是要重申，我从任何人工智能实验室都不收取任何费用，也不会从IPO中获利。Anthropic、OpenAI或谷歌从未要求我提前写什么，Anthropic也没有看到这篇帖子。我有时会获得模型的早期访问权限，包括Fable 5.2，在访问期间，令牌使用不会被计量，但除此之外，我自己支付账户费用。换句话说，这些都是我真实的人类观点。