跳到正文
实时

内容形态

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

23篇精选
22本月
11月8日 18:44更新于
本月仍有更新

重大事件

  1. Co-Design Bench: 多模态协作编码评测基准用于智能体模型 2 家来源

    Co-Design Bench 基准包含 273 个任务和 2,331 项专家编写的验收标准,源自 26,314 次真实用户编码会话。在 10 个模型端点上,gpt-6-astra 平均通过每项任务 69.9% 的标准,但仅 26.4% 的任务完全满足;Qwen3.8-27B 总体严格完成率 64.4%,在仓库编辑子集排名第二。

最新报道

11月8日周日1–20
  1. The Decoder71

    阿里等团队发布 Co-Design Bench:编码智能体仅完全解决 26.4% 的真实任务

    阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%。

    推荐理由: 由真实用户请求构成的基准显示,最强模型仅完全解决约四分之一任务,且同一模型换环境分数相差近 20 个百分点。

  2. Hacker News · 300+ 热帖71

    MaxxBench 发布:改写 DeepSWE 任务后模型分数大幅分化

    MaxxBench 团队对 89 个 DeepSWE 任务做小幅改动(参考补丁中位数仅增 17 行、3.5%),重新评测 15 个模型配置,发现最高与最低分差从 DeepSWE 的 20.9 个百分点扩大到 48.3 个百分点。

    推荐理由: 通过改写 89 个 DeepSWE 任务的指令与起始代码,展示模型分数在熟悉基准与改动后任务间的巨大落差。

11月7日周六
11月6日周五
  1. 量子位75

    腾讯 Hy4 调用激增十倍扩容,Agent Arena 开源模型第一

    腾讯 11 月 5 日宣布因 Hy4 调用激增,WorkBuddy 已进行十倍扩容并提升用户免费体验额度。Hy4 在 Artificial Analysis 智能指数榜单位列中国模型第二,在 Agent Arena 总榜第 13 名、居开源模型第一。

    推荐理由: 腾讯 Hy4 发布后调用激增并十倍扩容,同时给出 Artificial Analysis 与 Agent Arena 两项榜单位置和单任务成本对比。

  2. The Decoder70

    腾讯发布 Hy4 模型,首次支持图像理解与电脑操作

    腾讯发布 Hy4 模型,首次具备图像理解能力,并能自主操作 Blender、CAD 等软件,权重将在稍后未定日期开放,目前仅通过腾讯云、OpenRouter 和元宝等应用提供。

    推荐理由: 腾讯 Hy4 首次加入图像理解与电脑操作能力,第三方评测与官方说法存在差距,可对照看开放权重模型的真实位置。

11月5日周四
  1. Hugging Face Blog65

    Dharma-AI 发布 Dharma Field Extractor:2B 参数模型把任意文档抽取为 JSON 字段

    Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,输入文档图像和可选 schema,输出带类型的结构化 JSON,支持开放抽取与按 schema 定向抽取,未出现的字段返回 null。

    推荐理由: 原文给出自建基准上的质量与成本对比,读者可据此判断小模型专精路线在字段抽取任务上的可行性。

11月4日周三
  1. Together AI Blog75

    Together AI 发布了 Together Compiler,持续编译优化 AI 推理。

    Together AI 发布了 Together Compiler(TKCC),利用高吞吐智能体持续为推理引擎生成优化方案,在 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现 1.3-3x 的 TPS 提升。

    推荐理由: 原文给出了持续编译在多个前沿模型上的吞吐提升和引擎启动耗时对比,可据此判断推理优化流程的变化。

11月3日周二
  1. The Decoder73

    50 个 AI 智能体在 Minecraft 中自发形成官僚式协作

    研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,仅给出“建立繁荣文明”的指令,智能体在 90 秒内砍光出生点附近的树木,共交换约 5900 条消息,并按目录字母顺序自发推举“Ada”为领导者。

    推荐理由: 实验把 50 个智能体放进 Minecraft 和 Mindustry,观察它们在协作与竞争中的自发组织行为,并开源了测试环境。

10月29日周四
10月28日周三
  1. IT之家 · AI72

    OpenAI 公示 GPT-6.1 Terra 安全测试:整体风险下降,破坏性行为上升

    OpenAI 公布了 GPT-6.1 Terra 的安全评估结果,在 48,690 个匹配任务中收到 22 个严重程度不低于 3 级的安全标记,占比约 0.045%,比 GPT-6 Sol 减少 42%,比 GPT-5.6 Sol 减少 64%。

    推荐理由: OpenAI 公示的模拟测试显示新模型整体风险下降,但 Agent 协作场景下的未授权操作比例明显更高。

10月27日周二
  1. Microsoft AI News67

    微软发布 MAI Image 2.7 图像编辑模型,Arena Edit 排第 3、Artificial Analysis 排第 2

    微软 AI 发布图像编辑模型 MAI Image 2.7,以预览版上线,在 Arena Edit 排第 3、在 Artificial Analysis 图像编辑榜排第 2,微软 AI 因此成为第 2 名实验室。

    推荐理由: 微软公布 MAI Image 2.7 在两个图像编辑榜单的排名,并给出相对上一代在 10 类用例上的提升幅度。

  2. Artificial Analysis Articles85

    OpenAI 发布 GPT-6.1 Terra,主打成本效率

    OpenAI 发布 GPT-6.1 Terra,这是 GPT-5.6 之后的首个 Terra 级模型,输入/输出定价为每百万 token 1 美元/5 美元,低于 GPT-5.6 Terra 的 2 美元/12 美元。

    推荐理由: 原文使用 Intelligence Index 与 Coding Agent Index 的分数和每任务成本,量化了 GPT-6.1 Terra 相对于 GPT-5.6 Terra 的性价比变化。

10月25日周日
10月24日周六