阿里等团队发布 Co-Design Bench：编码智能体仅完全解决 26.4% 的真实任务

来自阿里巴巴和几所亚洲大学的 researchers 建立了一个基于真实用户变更请求的 coding-agent 基准。即使是最好的模型也只完全完成任务的四分之一左右，这使得旧测试的近乎完美的分数显得有些不切实际。

该团队开发了 Co-Design Bench，这是一个用于 coding agents 的新测试。这些 agents 必须根据用户请求重新设计现有的 web 应用，有时会使用图像、音频录制、视频或文档作为输入。

根据论文，在测试的十个模型中，最好的 GPT-6 Astra 平均满足任务要求的 70%。但只有 26.4% 的任务结果是完全正确的。在大多数情况下，agent 处理了大部分工作，但至少有一个细节未完成，因此使用这些工具的人几乎总是需要手动清理。

Coding 基准测试对 agents 来说变得太容易了

作者们通过现有基准的饱和来解释这个新测试。当模型可以运行、检查和修复自己的代码时，它们在这些测试中的得分超过 99%，而模型之间的差异几乎无法衡量。

Co-Design Bench 依据实际编码会话中的真实请求。研究人员倾向于选择用户必须多次改述请求或回滚更改的情况，因此测试主要包含 AI agents 在实践中已经遇到困难的任务。这些任务从小规模的调整，如从收据中提取金额并更新所有相关的总计，到全面的项目改造。

评分非常严格。一个 AI 评委在浏览器中测试完成的 app，然后第二个评委重新检查每个积极的裁决，并寻找草图或硬编码的结果。只有 app 中实际工作的功能才能得分。

在 GPT-6 Astra 之后，Claude Opus 5 和 Qwen3.8-Max 排名第二，而 Grok 4.6 排名最后。在较大的改造中，较小的 Qwen3.8-27B 上升到第二，但作者们并未从这个结果中得出该模型的普遍优势。

随着任务结合更多种类的变更（包括布局、设计、交互和内容），所有模型的性能都会下降。但这些交织的要求在实际项目中是常态

额外的计算能力几乎无法修复这种弱点。GLM-5.2 在较小的变更上消耗的 tokens 比GPT-6 Astra 多近六倍，但得分仍然明显更差。

在另一项测试中，研究人员在不同的执行环境中运行相同的模型，这些执行环境是代理读取、写入和执行代码的程序。 Qwen3.8-27B 在较大的改造中得分在75分或仅56分，具体取决于环境。两个模型哪个更胜一筹也取决于环境。

因此，仅列出模型的排行榜只讲述了故事的一部分。作者建议始终将模型和工作环境一起报告。对于选择编码代理的公司来说，这意味着将两个组件作为一个整体进行测试。

新的基准测试确实有局限性。它每个任务评估一个固定的请求；用户的后续问题或任务中途的更正不包括在测试中。AI评委也可能犯错误。

一个由研究机构 METR 进行的研究已经显示了基准测试结果和实际可用性之间有多大的差异。项目领导者对 AI 生成代码的实际接受率比在广泛使用的 SWE-bench Verified 上的得分低了大约 24 个百分点。

测试环境中的缺陷也可能让代理在不实际解决问题的情况下通过任务。然而，工作环境的影响并不明确。一项关于编码代理的最近研究发现，尽管更复杂的执行环境消耗了高达三倍的token，但几乎没有任何可衡量的好处。