跳到正文
实时
热点事件历史事件

编码代理框架研究显示成本增加效果不变

1 篇报道1 个报道来源26 天前更新

先了解这件事

AI 综述

Liu和Han发布的研究显示,复杂的编码智能体框架并未提升性能,反而增加成本。Claude Code、OpenCode和mini-SWE-agent三种框架每模型消耗的token数增加两到三倍,但通过率仍在测量不确定性范围内。OpenCode在大型任务集中存在统计显著的落后,主要因输出限制和更短的运行时间限制,而其他框架的系统提示词和工具描述是成本差异的主要来源。研究指出,先前研究中的性能差距可能因仅单次运行测量而存在噪声,且所有运行均在线下进行。

AI 根据报道生成 · 更新于 26 天前

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. The Decoder
    研究发现:复杂的编码智能体框架并未提升性能,反而增加成本

    研究表明,不同编码智能体框架间的性能差距在统计噪声范围内,而切换框架的效果与重新运行相同设置相当。Claude Code、OpenCode 和 mini-SWE-agent 三种框架每模型消耗的 token 数增加两到三倍,但通过率仍在测量不确定性范围内。OpenCode 在大型任务集中存在统计显著的落后,主要因输出限制和更短的运行时间限制,而其他框架的系统提示词和工具描述是成本差异的主要来源。