跳到正文
实时
热点事件历史事件

Artificial Analysis v5发布,评测基准仍存困境

2 篇报道2 个报道来源21 天前更新

先了解这件事

AI 综述

Artificial Analysis 发布了 Intelligence Index v5,调整了评测权重分配,知识工作、编码、科学和通用能力各占 25%。最新排名显示 GPT 6.1 Terra 优于 Claude Fable 5.1。该评测指数 60% 的权重基于私有测试集或隐藏答案,旨在减少因公开题库被模型训练数据污染导致的“注水”测试。评测仍包含九项评测,编码部分权重分配给 Cognition 的 FrontierCode 2.0(15%)和 Terminal-Bench 4.0(10%)。DeepSeek V4.1 Flash 1017 在 FrontierCode 2.0 上得分 28%,领跑开源模型,但综合排名仍落后 Claude Opus 5.5 26 分。Nathan Lambert 称,提高分数设计昂贵,而创建真正前沿 AI 的评测基准则更困难。

AI 根据报道生成 · 更新于 20 天前

事件进展

2 个进展

  1. 10月29日 01:06 · 1 篇报道
    人工智能分析指数v5基准上线
    IT之家 · AI:人工智能分析指数v5基准上线,DeepSeek V4.1 Flash 1017为FrontierCode 2.0开源模型最高成绩
  2. 10月28日 20:58 · 1 篇报道
    Artificial Analysis v5 and the benchmarker's dilemma
    Interconnects:Artificial Analysis v5 发布及其评测困境

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. IT之家 · AI
    人工智能分析指数v5基准上线,DeepSeek V4.1 Flash 1017为FrontierCode 2.0开源模型最高成绩

    人工智能分析指数v5发布,60%评测权重首次基于私有测试集,DeepSeek V4.1 Flash 1017在FrontierCode 2.0上获得28%得分领跑开源模型,但综合排名仍落后Claude Opus 5.5 26分。

10月28日
  1. Interconnects
    Artificial Analysis v5 发布及其评测困境

    Artificial Analysis 发布 Intelligence Index v5,该独立评测指标权重分配为知识工作(25%)、编码(25%)、科学(25%)和通用(25%),最新模型排名显示 GPT 6.1 Terra 优于 Claude Fable 5.1。

关联事件