跳到正文
实时
The Decoder· Jonathan Kemper·· 21 天前精选71

研究发现 AI 让初级专利律师起草更快,但未提升其独立审查能力

AI makes junior patent attorneys instantly better but may quietly stunt their professional growth

要点速览

一项由 Google 资助的研究让专利律师使用 Google Labs 未发布的 AI 助手 InFlow 起草专利权利要求,再由独立律所的盲审律师从可执行性、技术准确性、策略模糊性、完整性和清晰度五个维度评分。

Why it matters

这项实验把 AI 辅助起草与无 AI 的审查分开测量,呈现了即时提效与长期判断力之间的分化。

正文 · AI 翻译

这项研究通过让律师首先使用AI辅助工具,然后在没有AI的情况下评估结果,将两者分离开来。这种设计使研究人员能够测量AI辅助工作的质量以及律师自身判断力在之后的表现。一家独立律所的盲测专利律师在五个类别中对所有结果进行了评分:可执行性、技术准确性、策略模糊性、完整性和清晰度。

在由谷歌资助的研究中,三分之二的参与者获得了谷歌实验室尚未发布的AI助手“InFlow”,而剩下的三分之一则没有使用任何AI。在两项专利权利要求书起草任务中,只有处理组可以使用InFlow,而对照组则未受任何帮助地完成了相同的任务。

在第三项名为“划线”的任务中,所有参与者都必须在没有AI的情况下批判性地审查一份现有的专利草稿。正如作者所解释的,起草任务衡量即时的AI辅助表现,而划线任务衡量内化的判断力,这是专利律师在没有任何工具的情况下经常执行的任务。

AI主要改进初级律师的草稿

在起草任务中,处理组在10天和90天时都明显优于对照组,效果体现在所有五个评分维度上。较高的分数主要来自较少的差评和更多的中等评价,而顶级分数几乎没有变化。

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.
有了AI的辅助,初级律师的专利草稿上获得的低分要少得多。| 图片:NBER

对于少于七年经验的初级律师来说,收益要比资深律师大得多。根据研究人员的研究,这与越来越多的研究表明AI缩小了经验较少和经验较多员工之间的表现差距相一致,这种效应已经在写作、客户服务和软件开发中观察到。

只有资深律师保持AI优势

划线任务产生了相反的结果。处理组的整体得分更高,但优势完全来自资深律师,初级律师根本没有受益,尽管他们在AI辅助起草期间取得了最大的进步。

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.
在AI辅助起草期间,初级律师受益最大。在没有AI的划线期间,只有资深律师保持优势。| 图片:NBER

相反,初级律师的结果分化开来,中等评价大幅减少,取而代之的是更多差评和更多好评,但顶端没有增长。作者将其解读为AI加速了部分初级律师的技能培养,而取代了其他人的技能,尽管实验没有解释为什么效果出现了分歧。

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.
在没有AI的划线期间,处理组初级律师的得分范围更广,低分和高分都更多。| 图片:NBER

从AI中获益最多的律师正是那些保留最少持久技能的律师,这使研究人员建议,基础专业知识可能是将AI辅助实践转化为持久能力的前提条件。

一项补充的文本分析提供了一个可能的解释。资深律师更经常地重构有缺陷的草稿,并将他们的更改基于法律原则,而初级律师经常发现严重的缺陷但未修复,留下的笔记看起来像是给AI助手的指令。由于这种行为也出现在对照组中,作者没有将其归因于AI训练的习惯,而是将其视为初级水平的基本缺陷,AI的使用并没有修复它。

研究结果的实际意义

作者们指出了一些局限性,包括由顶尖律师的高计费率驱动的样本量小,参与的公司并不能代表整个专业服务行业,缺乏基准技能测量,以及与建立专利专业知识所需的数年时间相比,三个月的时间窗口较短。

只要专业工作仍然需要在没有AI的情况下进行判断,即时生产力提升和持久技能发展之间的紧张关系就很重要,研究人员认为,而且这种情况在很长一段时间内都会持续。即使AI最终支持尽职调查,它也可能不会在客户会议和法庭审理等高风险且需要当场做出判断的情况下,向律师提供实时支持。

在其他领域也出现了类似的模式。在软件开发中,Anthropic研究发现,在AI的帮助下学习新编程库的年轻开发者在随后的知识测试中得分比没有使用AI学习的人低17%。在论文写作中,麻省理工学院媒体实验室发现了外包思考带来的认知债务的迹象。在管理咨询中,BCG研究在2023年表明,较弱的分析师在使用GPT-4时进步远大于表现优异的分析师。

斯坦福大学研究人员通过论证AI可以主要替代学校和大学所学的基础知识,而早期职业工作者带来的正是这些知识,同时经验丰富的专业人士也拥有AI难以轻易替代的实践经验,来解释了多个行业入门级工作的下降。

专利律师研究促成了一个更广泛的关于专业专业知识侵蚀的辩论,一些研究人员称之为"认知公共领域的悲剧"。单个公司从自动化中受益,而人才发展受阻的成本则分散在整个行业中,这项研究为这一担忧提供了更多来自实际操作的实验证据。

Anthropic最近表示,自2025年初以来,其工程部门的初级职位从21%下降到14%。

来源: The Decoder · the-decoder.com