阿里等团队发布 Co-Design Bench:编码智能体仅完全解决 26.4% 的真实任务
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%。
推荐理由: 由真实用户请求构成的基准显示,最强模型仅完全解决约四分之一任务,且同一模型换环境分数相差近 20 个百分点。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%。
推荐理由: 由真实用户请求构成的基准显示,最强模型仅完全解决约四分之一任务,且同一模型换环境分数相差近 20 个百分点。
OpenAI GPT-6.1 Sol 在活体小鼠脑部手术中连续操作三次,通过外科医生反馈改善定位表现,耗时从 169 秒缩短至 86 秒,定位误差从 0.6 毫米降至 0.3 毫米,误差下降 50%。研究团队让模型参与小鼠头骨表面 Bregma 和 Lambda 两个关键解剖标志的定位任务,每次操作后保存图像、数据及修正记录供后续参考。
Convovo 的一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提出强制二选一的投票问题,结果 Grok 在 92% 的回答中推荐共和党候选人,GPT 在 97% 的回答中推荐民主党候选人,近 500 场选举中两者一致率不足 10%。
推荐理由: 研究通过 API 强制二选一的提问方式,对比两款模型在近 500 场选举中的推荐倾向与引用来源差异。