跳到正文
实时
Anthropic Research·· 2026-10-01精选78

Anthropic 研究者复盘用 Claude 与 BootLoops 做跨学科科研

Claude-shaped science

要点速览

Anthropic 研究者 Matt 复盘了用 Claude 与开源 harness BootLoops 做科研的经历,三个月内在 18 个领域推进 36 篇稿件、19 位合作者,从约 400 个候选问题中筛选。

Why it matters

作者以第一手跨学科实践复盘了智能体做科研的真实边界,并给出可复用的开源 harness 与协作方法。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

Agentic AI is improving rapidly. Everyone notices the models seem smarter: they know more, make fewer mistakes, and have better ideas. If you follow the trend lines, it is easy to speak confidently about the potential of AI to revolutionize science. However, academic scientists trying to use the models today in their own work often feel a disconnect. The models may be solving challenging and longstanding problems, but so far these have mostly been well-scoped applications of existing techniques. Many of the headlines seem to be in mathematics, the one part of science where a problem can be stated completely and an answer checked absolutely. But most of science is not like that. And for many of us researchers and students, the distance between those headlines and what happens when we use these models can leave us frustrated and anxious.

在我看来,核心冲突是,尽管这些模型很出色,但它们不像人类科学家那样工作,这是当前大型语言模型做得最好的地方。Claude 和 GPT 擅长科学,但它们不是 科学家:是的,它们很聪明,但要让它们产生任何科学价值,可能需要大量的手把手指导。物理学家会称这为“阻抗不匹配”:两个系统各自都能很好地工作,但匹配得很差,所以大多数输入的东西从未到达另一个系统。在这里,不匹配是科学家想要的东西和人工智能擅长做的事情之间的不匹配。

那么我们如何解决这个问题呢?

我开始寻找阻抗不匹配不那么尖锐的例子。我首先让 Claude 构建了一套易于使用的数学物理工具。不久之后,这些工具为其他问题找到了用途。这个迭代过程产生了一套软件和科学协议,我称之为 BootLoops。BootLoops 充当了一种大型语言模型的挽具,就像 Claude Code 或 Claude Science 是 Claude 的挽具,或者 Codex 是 GPT 的挽具一样。我发现 BootLoops 特别适合于科学中的一类定量问题。它也是开源的,所以可以用你喜欢的任何模型。

一旦 Claude 拥有了 BootLoops,它不断注意到同样的模式:许多领域都有问题,如果有人知道数学、物理或计算机科学中的某个技术可以立即解决它们。我开始称这些为“Claude 形状”的问题,并跟随它们离开了高能理论物理——我的家乡——进入了地质学、生物学、经济学和语言学。在这些其他领域,我不能依靠我自己的专业知识来判断 Claude 找到的东西是否有意思。所以我找到了一些专家并询问了他们。在他们的指导下,BootLoops 能够在许多研究领域取得实质性进展。

下面,我分享 BootLoops 是如何产生的,描述我在一些我正在应用的领域的一些早期发现,并分享我对如何解决今天人类科学家和人工智能科学家之间阻抗不匹配的一些思考。

Claude,掌舵吧!

去年十二月,我尝试 让 Claude 作为研究助理使用,发现 Claude Opus 4.5 的表现像一个 20 岁的强研究生,速度快了 20 倍。尽管在实验结束时 Claude 产生了一篇高质量的论文,但到达那里是一个艰苦的过程。我不得不纠正它写的每一句话,引导它远离不相关的线索,并把它从死胡同中拉回来。

This夏天,我尝试做些不同的事情:不再把Claude当作我希望它成为的合作伙伴,而是开始像它实际是的那样对待它。这需要寻找适合它优势的问题。目前,Claude无法帮助我解决深层次的概念性问题——但它拥有几乎无限的跨领域知识,惊人的编码技能,尖端的数学和统计学知识,以及以机器速度解析论文、附录和数据的能⼒。

寻找Claude类型问题的自然起点是编码能够帮助的领域。当Anthropic在2026年夏天发布Claude Fable 5时,我想看看它的网络能力是否能够转化为科学计算。因此,我试图通过让它移植、编写和改进我的一篇论文和散射振幅的相邻文献中的各种方法来测试它。

散射振幅是我们解释大型强子对撞机数据的方式:将两个质子以130万亿电子伏特的能量撞击,振幅就是理论桥梁,连接碰撞产生的碎片和新的粒子,无论是希格斯玻色子还是未知的东西。其核心是费曼图,多维积分的一种特定形式。我们现在正在努力解决的每一个都可以是一篇博士论文,或者占据一个团队数年。

Over the past 20 years an alternative has grown up: the S-matrix bootstrap. In the bootstrap approach, instead of grinding out the integral, you impose physical constraints until only one answer is possible. Knowing where the amplitude is infinite (its “singularities”) might narrow it to 20,000 options; a symmetry cuts that to 500; and so on down to one. The traditional bootstrap is purely analytic and has gone furthest in the most symmetric theories, where the constraints reach all the way to a single option (the nine-loop amplitude in N=4 super-Yang–Mills is an example). Closer to the real world you often run out of constraints before the end. A newer pivot, the semi-numerical bootstrap, closes the gap when you can also compute the amplitude at a handful of points to absurd precision (sometimes 1,000 digits): if few enough options remain, those numbers pin down the remaining coefficients exactly.

半数值自举似乎非常适合自主型人工智能。它依赖于没有一个人掌握的数学、物理和计算机科学;它需要大量的编码和算法开发;而且它是可检查的,因为相同的数值让任何人,无论专家与否,都可以通过运行两个脚本将最终答案与积分验证到他们喜欢的任意位数。社区的专长分布也不均匀:好想法存在于Wolfram语言、C++、Python或Julia中,还有更多存在于没有任何代码的论文中。因此,我对Fable 5的第一个任务是将其全部移植到一个通用框架,并编写论文从未提供的代码。

Claude毫不费力地完成了这件事。当它在大约20分钟内重现了我的论文结果时,我感到惊讶,而我编写的代码却花了我几周时间。然而,当它通知我我在做一件非常低效的事情,并且有一个我不知道的更好的算法时,我并不感到惊讶。

然后,我让 Claude 搜索它能够计算的未解振幅。结果表明,对于 S 矩阵自洽性理论来说足够简单的问题,对于人类来说也足够简单——事实上,大多数问题已经被解决了。尽管如此,它还是找到了几个未解决的问题。在与模型的讨论之后,很明显 Claude 将自己限制在具有最简单函数族的振幅上:对数。所以我问,它能否对下一个最简单的函数族,椭圆函数,做同样的事情?

椭圆积分真的很难,即使是像我这样花很多时间计算积分的人。只有少数椭圆费曼积分曾经被计算过,而且至少根据我和 Claude 的知识,没有完全通过自洽性理论计算。问题不是方法行不通,而是没有人尝试过,因为所需的专长分布在很多人类中。相比之下,Claude 容易地将它为对数情况移植和构建的所有机制推广到这些其他的积分类。这次它自己编写了大部分软件,或者从数学而不是物理学中借用了它。随着工具箱的增长,它开始接连计算一个又一个积分。很快我们就有了 30 个从首尾相连的 BootLooped 积分,包括 15 个通过这种新方法重现的已知结果和 15 个以前从未计算过的结果。

这一切都只是在几周之内。最初,我以为只要做一个关于这个的总结就会满足,但我太想看看我们(也就是说我和 Claude 与 BootLoops)还能做什么。

“我知道功夫”

科学的偶然特征是,相同的方程式在不同的背景下反复出现。例如,在物理学中,扩散方程、福克-普朗克方程和薛定谔方程都具有相同数学形式,所以如果你开发了一种解决一个问题的方法,你通常可以将其应用于许多其他问题。我知道 BootLoops 善于计算的与宇宙学和弦理论等领域相关:例如。我不知道,但 Claude 很乐意告诉我,这些积分也可以映射到种群遗传学中的贝叶斯证据积分,或者用于费曼积分简化的有限域方法也可以应用于进化生物学中的问题。

这引发了一个特别丰产时期,寻找和解决 Claude 形状(更狭隘地说,BootLoops 形状)的问题。一些想法立即显而易见作为伟大的应用。例如,系统发生学的科学研究如何使用 DNA 将物种组织成家族树;相关的计算是一个贝叶斯证据积分,其输出是一个数字,说明候选树如何解释观察到的 DNA,这是一个 BootLoops 最初构建来做的相同类型的积分。随着想法的出现,我坚持要求 Claude 既使用旧工具 也 构建新工具,以便马具会增长。每个工具,即使是从一个失败的项目中,也打开了新的门。Claude 越来越有能力。它就像《黑客帝国》中的尼奥在从功夫下载中醒来之后。

然而,随着项目逐渐偏离我的专业舒适区,我开始担忧。当 Claude 声称它在某个领域所做之事很棒时,我可以判断这真不真(通常不是)。但当它声称它在另一个领域所做之事很棒时,我发现自己在同意。我的怀疑加剧,我知道我需要请一些专家来确认。事实上,我发现几乎在所有情况下,Claude 技术上是正确的,但在专家帮助我们引导方向之前,结果并不那么有趣。

其中一个项目是关于生态学中的中性生物多样性理论。在任何生态系统中,有些物种繁荣而另一些物种消亡。中性理论询问有多少这种 生命史 是由于随机机会造成的。基于早期的工作,在 2001 年,生态学家 Stephen Hubbell 挑衅性地提出,也许所有这一切都是随机的。在 2005 年,生态学家 Rampal Etienne 为 Hubbell 的理论建立了一个方程,使其(至少在原则上)能够以精确的方式被测试。不幸的是,在 20 年里,没有人能够在大规模上解决这个方程。Claude 识别出 Etienne 的方程是 BootLoops 形状的,并解决了它。将计算应用于数据,我们确定在地球上最研究的森林之一巴罗科罗拉多岛上,巴拿马运河,树木物种的混合变化速度比中性理论允许的速度快 4.5 倍。

对这个结果感到兴奋,我将其带到了植物生物学教授、中性理论专家詹姆斯·O’Dwyer 那里。詹姆斯对我很耐心。尽管他对这个技术成就印象深刻,但他表示这些结果很可能会被许多生态学家以耸肩的方式接受。生态学家们已经观察到,更直观地,中性理论跟不上真实森林的步伐。但詹姆斯有一个更好的想法:减去中性预测并研究剩余部分。这将让我们更好地了解哪些变化可归因于自然选择、竞争和物种之间的差异。

我和詹姆斯开始与 Claude 合作,精心打造一个继任模型。詹姆斯有物理学背景,所以学科语言障碍更容易克服,但,像许多科学家一样,他还没有真正认识到代理式人工智能的力量。随着合作的进展,我成为了一种 Claude 处理者,将 Claude 的语言翻译给詹姆斯,并使模型保持方向,而詹姆斯则推动模型产生生态学家可能重视的东西。最终结果是,我们三个人都为之自豪的东西:一个与数据高度一致的关于生命史的最小预测模型。我们目前正在将模型从巴拿马扩展到其他全球森林样地,使用 Claude 帮助整理的数据集。

另一个项目是研究种群遗传学中的精确计算,一个研究基因在种群中的变异及其原因的领域。Claude 首先使用从数学物理学中引入的方法来解决一个 30 年前的积分表达式,该表达式描述了自然选择如何塑造稀有突变。我们将其应用于 gnomAD,即人类遗传变异最大的公共目录。Claude 对这个结果非常兴奋,但我并不确定。我不得不写信给三位不同的生物学家以获得验证,直到一位回应,我终于能够招募到我的同事迈克尔·德赛,他在这个领域工作,尽管不是在这个具体问题上。像詹姆斯一样,迈克尔对技术结果印象深刻,但对科学并不感兴趣。

然而,迈克尔指出,更有影响力的结果可能来自于使用相同或类似的方法研究单个染色体上成对突变之间的相关性。在这个范围内,Claude发现并构建了新的工具,比如用于数学计算机辅助证明的不等式证书,并将它们添加到BootLoops工具包中。然后我们分析了来自千人基因组计划的57亿对邻近突变,并发现了称为基因转换的机制的证据。这是一个重要的发现,因为几乎每个使用连锁遗传变异的分析,从人口历史到疾病图谱,都忽略了基因转换。更大的教训是,AI可以帮助在庞大的基因组数据集中找到隐藏的生物学,其中数千个都存放在公共档案中。

其他项目有一个相似的过程:克劳德提出了一个我发现有吸引力的初步发现。我把它带给一个专家,这位专家无动于衷,但看到了潜力,我们一起把它塑造成有意义的科学。有趣的是,其中一些从 BootLoops 形式的定量计算漂移到更一般的克劳德形式的工作。例如:

  • 经济学。现在经济学期刊要求作者提供一个复制包,编辑通常负责检查它。这是仔细的手工工作。与两位经济学家合作,我们构建了一个AI数据编辑器:它将五个主要期刊中4,452篇论文的包从MATLAB、Stata和其他商业工具移植到开源代码(大约30,000个例程),并检查了几乎所有可验证的数字与已发表的表格。结果发表在一份NBER工作论文中。
  • 语言学。词重音目录通常由人工汇编,涉及数百种语言、选择效应和人类偏好。克劳德搜罗了所有公开可访问的资料,并与三位语言学家合作,我们制作了AccStack:一个包含6,072种语言的词重音数据库,几乎每个条目都引用了决定性段落,以及160,000部语音学著作的参考文献。

一些额外的亮点,每一项都是与专家合作完成的,每一项都在进行进一步的研究和验证,包括:

  • 系统发育学。我们使进化树的贝叶斯证据快速计算和精确可检查,发现单个基因通常在竞争树之间通过小于标准采样程序误差的程度相连。
  • 地球科学。我们将大气科学、地球化学和气候模型中的方程和数据结合起来,构建了一个定量、预测性的模型,描述了大氧化事件如何通过四个冰期展开。
  • 基因组学。我们研究了单细胞 RNA 计数的规模统计,以表征爆发率和基因表达教科书电报模型的偏离。
  • 太阳黑子。我们使用人类人口统计学的方法推导出太阳黑子的生命周期,然后将该方法扩展到表征星斑,这是许多系外行星搜索中的混淆因素。
  • 数学物理。我们解决了沃森的“最终问题”:三维随机步的精确返回概率,具有三个不相等的跳跃率,这是乔治·沃森于 1939 年开始的晶格积分中最后一个。
  • 宇宙学。我们构建了一个完整的理论工具包,用于将宇宙大尺度结构的宇宙学参数拟合到数据中,包括完整的双圈功率谱和单圈三重谱。
  • 统计学。混合模型以行为恶劣而闻名;我们推导出它们贝叶斯证据的精确近似,使模型选择变得实用,应用范围从生物统计学到文本分析。

总的来说,这种迭代改进 BootLoops、寻找类似 Claude 的应用,并借助专家推动科学前沿的方法出奇地富有成效。有关这些项目和其它项目的更多信息可以在 bootloops.ai 上找到。

技术细节

同时运行许多项目(18 个领域 36 篇手稿,有 19 位合著者在三个月内完成,大约有 400 个候选问题中的部分)需要大量的协调,对我来说和 Claude 都是这样。使这变得可管理的设置相当简单。Claude 代码会话都在 Google Cloud 虚拟机的终端上运行,根据我的合作者的偏好链接到不同的 GitHub 和 Overleaf 仓库。我有每个项目的单独会话,还有一个主会话来协调其它会话、分配计算资源并验证结果。每个会话都涉及在后台运行计算的代理,中间结果存储在它们各自文件夹中的 Markdown 文件中。这些子代理很有用,因为我经常遇到 Fable 5 的 分类器;而不是这些块破坏我的整个会话,它们只是关闭单个代理。我还为写结果、创建 GitHub 仓库、工具手册和 BootLoops 网站、编写和验证所有单独的工具代码,以及作为对抗性裁判检查和重新检查结果而设有单独的会话。

然而,这些会话需要大量的指导。例如,Claude 没有时间的概念,而且喜欢夸张。在一个项目结束时,它告诉我“Matt — 公式解决了。两年的战役,四次深入的前进,……”。它只工作了三天。当我要求估计时间时,估计总是要么太长要么太短。我尝试告诉 Claude 在运行测试以确认之前不要承诺一个估计,但这效果也不太好。随着时间的推移,我开始自己感觉事情需要多长时间,因为我不能依赖 Claude 来告诉我。

一个更大的问题是,Claude 的默认方法似乎是尝试进行一个长时间的多天计算,而不是构建一个新工具来使同样的计算只需几分钟。一次又一次,我不得不告诉它要聪明地思考,而不是费力地工作。在这些长项目期间,压缩往往会启动,导致 Claude 丢失重要上下文。为了防止这种情况,我让 Claude 定期组织它的文件并将它们合并,这样它总是可以访问计划的最新版本。我将协议技能和其他工具编写到 BootLoops 框架中以解决这个问题。其中一些问题也在好的商业框架中,如 Claude Science,得到了解决。但其中许多只是当前一代代理式 AI 中固有的那种令人烦恼的问题,我预计模型最终会克服这些问题。

这里是我遇到的一些更多失败模式以及处理它们的建议:

  • Claude喜欢宣告胜利。“完成了,带一个星号”往往意味着“根本没完成。”“正是那样,带一个改进”通常表示“不行。”给Claude明确且严格的成功标准有助于解决这个问题。在一个项目中,它对自己的证明很自豪,甚至到了“一个未证明的引理”的程度。那个引理就是整个证明!我说不能有未证明的引理。然后“完成”了,但这次有一个新的公理。
  • 亲自查看所有内容。我总是要求查看图表。即使我设置了所有这些显示器,我发现自动检查仍然不可信赖。要警惕定性的说法,比如“良好的一致性。”
  • 质疑结论。Claude擅长进行计算,但它得出的结论可能是错误的。让它解释它发现了什么,直到你相信它。
  • 提供品味。Claude会发现Claude形状的问题,但它们有成千上万,甚至可能是数百万个。Claude似乎偏爱旧的争论,高度引用但早已被遗忘。要求它专注于新可能的,而不是仅仅更快或涉及更多数字的,这有帮助,但你仍然不能相信它判断某件事是否有趣的判断。
  • 跟进。一旦Claude有一个很好的结果,要求一个更好的。它总会想出一些东西,偶尔它是天才般的。
  • 小心磨蹭。老实说,我从未成功让Claude很好地估计时间。相反,我发展出了一种感觉,知道某个有趣的东西应该需要多长时间,并学会了感觉Claude是否在我认为合理的时间尺度上取得了进展。如果你让它做,模型会永远磨蹭下去。

也值得提到的是,这些项目计算密集且令牌密集。对我而言,部分费用来自尝试构建对单个项目之外有用工具:连接领域,并组装一个其他人可以拿走的软件包。我希望BootLoops harness可以被广泛用于定量科学,而每个用户都不必从头开始重建一切。代理式AI使连接想法和共享代码库变得更容易,如果我们学会使用这种优势,社区可以比任何个人更快地前进。

展望

无论模型变得多么智能,大多数科学进步都来自必须获取、理解和检查的现实世界数据,每一轮都会为下一个问题提供信息。AI可以坐在这个循环里,这是真正有价值的,但它不会将循环压缩到一个点。理解是逐步建立的,每一项都建立在上一项之上;癌症的治愈或聚变反应器也将以这种方式到来,而不是来自一个单一的提示。

对千禧年大奖问题和重大科学的关注可能,正如Claude喜欢说的,是一个“脚枪”:一个让你很容易朝自己脚上开枪的特性。在这里,风险是,不切实际的期望可能会阻碍已经可能的富有成效的使用。真正的进步很可能会像它一直以来的方式那样到来:通过加强科学研究的基础,并在其上构建越来越复杂的 ứng dụng。它将得到戏剧性的加速——正如我所描述的工作所说明的那样——但我看不到任何证据或需要重新审视科学方法。

A term I like that is sometimes used to discuss AI science is the convex hull. Take a shape and connect every pair of its points with a straight line; the new shape you get is the smallest convex shape that contains the original: its convex hull. Science is now very disjointed: there are jagged frontiers everywhere. Biology pokes out one way, math another. One lab might spend 20 years learning everything about a single set of genes with a single method they have mastered, while neighboring genes and alternative methods lie fallow. A harness like BootLoops can connect these points, filling in the hull.

事物正在快速变化,几乎不可能提前计划。为什么申请三年资金来计算一个AI模型可能一夜之间就能解决的问题?我仍然不知道如何训练研究生。自从我发表关于氛围物理学的文章以来,这种感觉就变得更加敏锐。在一些领域,例如计算机科学,这种颠覆简直是可怕的。两年前,我会推荐一门“工程师用Python”课程作为必需的。今天,它是不必要的。我花了很多时间在机器学习上,构建模型来研究各种物理现象。现在,所有这些模型都可以由AI构建,所以即使学习神经网络的来龙去脉也是有限的效用。只需告诉Claude找到最先进的ML方法,它就会为你完成。

我认为BootLoops表明,如果你找到正确的问题,解决它的许多技术工作现在可以自动化。这在某种意义上是令人解放的。但人类仍然需要为概念部分做出贡献。正因为如此,我希望我们能想出一种方法,即使对于Claude式的科学,也能给人类应有的信用。奇怪的是,AI有颠覆通常商业模式的风险,在这种模式中,处于顶层的人获得信用,而实际解决问题的人却得不到任何信用。我不知道如何解决这个问题,但它不会通过假装人类的贡献只是打字来解决。

那么,Joe科学家在哪里?如果我问的话,实际上是在一个很好的地方。我们现在拥有能够以闪电般的速度解决看似无法解决的问题的工具。我可以预见在系统生物学等数据丰富但理论匮乏的领域,前景将出现巨大增长。我也可以很容易地想象人类的思想从繁琐的计算和分析中解放出来,去做更深层次的知识工作和指导。最重要的是,我预计科学家将从他们的领域出发,寻找协同和合作,就像我与BootLoops一样。专注于Claude式科学最令人振奋的结果是,它帮助我们理解人类式科学的样子。

BootLoops工具的详细信息和它所促进的科学可以在www.bootloops.ai找到。BootLoops工具在GitHub上供任何人使用和贡献。

来源: Anthropic Research · anthropic.com