跳到正文
实时
#评测/基准
今天11月15日周日1 条
11月14日周六
  1. 量子位60

    UniPat AI 推出史上最严湿实验预测基准 SPU，前沿模型表现不佳

    UniPat AI 发布新基准 SPU，包含 116 个任务和 4207 个湿实验，覆盖化学、材料科学等领域，要求模型自主研究并预测实验结果。评测显示，Claude Opus 5.5 平均得分 0.486，仅 34%-52% 任务超过随机水平，表明 AI 在湿实验预测方面仍有很大提升空间。SPU 评测强调模型自主研究过程与预测效果，为 AI 科研能力评估提供新标准。

11月13日周五
  1. Hugging Face Daily Papers

    SO-Arena 评估系统一模型的能力谱和可靠性

    SO-Arena通过11个领域和5个能力家族评估系统一模型，发现规模化和推理增益存在差异，且高整体准确率不保证可靠决策。该基准通过可靠来源和手动验证、领域特定难度标准、沙盒中迭代执行动作进行能力谱评估；通过选项集变化下的决策稳定性和无有效选项时的答案识别评估决策可靠性。21模型评估显示规模化和推理增益存在领域差异，且最佳系统一模型在可靠性排名中仅列第七。

  4. The Decoder88

    Google 发布 Gemini 4 Hydrogen，发布四周后在基准上超过更大的 Argon

    谷歌发布面向开发者和日常用户的通用模型Gemini 4 Hydrogen，提供low、medium、high、xhigh四档思考等级，输入输出各支持100万token，定价为每百万输入token 1.50美元、每百万输出token 7.50美元。

    同一件事 · 2 家
  5. Google Developers Blog58

    Agent Anomaly Detection 在非 Google 编写的安全基准测试中的表现

    Agent Anomaly Detection 在五个非 Google 编写的公共代理安全基准测试中，对代理执行的有害指令检测率为 87%，其中四项测试中，有害指令隐藏在工具返回的数据中，一项测试中用户直接请求有害操作。该模型拒绝四分之三的直接有害请求，对隐藏在工具输出中的指令成功识别 30% 左右，执行后标记 87% 进行事后审查，但长期记忆中毒指令检测率仅为 22%。

  6. The Verge · AI65

    研究发现AI聊天机器人推荐虚假零售网站

    IP保护公司Podqi的一项研究发现，ChatGPT、Gemini和Perplexity在回答购物相关问题时会推荐虚假零售网站，其中Perplexity在6795个回答中推荐了15%的此类网站，Gemini为4%，ChatGPT为8%。所有AI引擎都曾展示过仿冒真实零售商的网站、已重新注册的旧品牌域名或已失效但可被他人购买和重用的网站。

11月12日周四
  2. IT之家 · AI

    百度李彦宏发布大模型交易所“词元所”：宣称中立可信，为模型提供商打分

    百度李彦宏在百度世界大会 2026 上推出大模型服务平台“词元所”，宣称解决模型选择困难、质量参差不齐的问题。词元所通过全面准入测试、持续质量监测及多维度评分体系确保模型可信度，并为模型提供方打分建立信用档案。上线一个月后，平台已汇聚 100 个供应资源，日均调用 Token 数达 7000 亿。

11月11日周三
  3. Hugging Face Daily Papers65

    MMDM：大规模多任务决策模型评测基准

    MMDM评测了28个决策模型，显示多数模型在常见知识上表现良好，但在相互依赖选项、约束决策和多选任务上表现不佳。例如，Perplexity Decider-V1.2在知识单选上达78.75%准确率，但在选项逻辑和约束规划上分别只有53.95%和47.95%，而所有模型在硬多选上的最佳准确率仅为36.81%。

  6. IT之家 · AI34

    Anthropic 启动 643.5 亿美元 IPO；Claude Fable 5.2 模型登场

    Anthropic 启动最高 643.5 亿美元 IPO，估值 1~1.4 万亿美元；Anthropic 发布 Claude Fable 5.2 与 Claude Mythos 5.2 模型，编码、推理能力提升，输出速度最高提高 30%，成本下降 20%，API 调用费下降 20%。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  9. The Decoder

    Google 发布 Gemini 4 Carbon 模型

    Google 发布 Gemini 4 Carbon 模型，在 Artificial Analysis 测试中低于 Fable 5.2 的推理强度表现更优，与 Gemini 4 Argon 互补而非替代，后者更适合多数软件工程任务。

    同一件事 · 5 家
  10. The Decoder

    Google DeepMind 的 Gemini Robotics 2.5 在梅赛德斯-奔驰装配线试点中成功率达 96%

    Gemini Robotics 2.5 在梅赛德斯-奔驰装配线试点中成功率达 96%，处理金属零件分拣任务；相比前代模型，任务成功率提高 30-100%，速度提升 20-30%。该模型为视觉语言行动模型（VLA），支持 Apptronik Apollo 2 人形机器人及 Franka Duo 平台，并采用实时控制避免物理危险，安全任务完成率提升 33%（近障碍物）和 43%（近人员）。

11月10日周二
  1. The Decoder

    Anthropic的Fable 5.2完成41%的真实自由职业任务，较去年增长38.5%

    Anthropic 的 Fable 5.2 完成 41.3% 的真实自由职业任务，较去年增长 38.5%。该模型在 3D 模型、音频编辑和建筑设计等领域表现突出，成功完成近 50 项此前 AI 未能解决的复杂项目。其直接前代 Fable 5.1 仅完成 17.8%，而 Opus 5.5 和 GPT 6 Astra 分别以 21.25% 和 20.83% 位列其后。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  2. 量子位

    Fable 5.2 首批实测：能力大增但价格降20%，网友玩出游戏、视频、3D建模等惊艳效果

    Fable 5.2 在智能体编程、软件工程测试等能力上全面超越 Opus 5.5，支持 100 万 Token 上下文，输出速度提升 30%，价格降 20%，API 每百万输入输出 Token 分别为 8 美元和 40 美元；网友实测可制作 3D 游戏、视频、交互体验，甚至从达·芬奇手稿生成 3D 模型，但高推理档位下 Token 消耗显著增加。

  3. 量子位

    Seedream 5.5 发布：国产 AI 模型在连续图像编辑任务中表现优异

    Seedream 5.5 在连续编辑 100 轮图像的高压任务中表现优于 GPT-Image 2.6，展现出更强的稳定性。该模型提升了真实感，支持小字与多语言渲染、透明图生成与编辑，以及图层拆分与文字二次编辑功能。此外，Seedream 5.5 的 API 价格降至单张 0.28 元，速度提升，延续“输入图 + 输出图”两段计费结构，无文本 Token 费用。

  4. IT之家 · AI

    Anthropic 发布 Claude Fable 5.2，编程能力超过 GPT-6 Astra 并登顶多项基准。

    Anthropic 发布了 Claude Fable 5.2 模型，编程能力在 FrontierCode 2.0 测试中达到 49.1%，超过 GPT-6 Astra 的 42.8%；在 Humanity's Last Exam 测试中得 74.2%，领先 GPT-6 Astra 的 57.2%。该模型输出速度最高提升 30%，成本下降 20%，API 调用费降至 $3/百万 tokens。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  5. Hacker News · 300+ 热帖40

    Claude Fable 5.2 在 Artificial Analysis 评测中获得 65 分，是目前最高分

    Claude Fable 5.2 在 Artificial Analysis 评测中获得 65 分，是目前最高分；该模型在 Intelligence Updated Capability Indexes 评测中表现优异。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  6. IT之家 · AI

    Meta 推出轻量级 AI 模型 Muse Ember：跑分媲美 Claude Haiku 5.5，单任务成本仅 1/3

    Muse Ember 是 Meta 最小、效率最高的 AI 模型，在 Artificial Analysis 排行榜中表现媲美 Claude Haiku 5.5，但单任务成本仅为 1/3 并超越 GPT-6 Luna。

    同一件事 · 2 家
  7. IT之家 · AI

    Anthropic 推出 Claude Fable 5.2 和 Claude Mythos 5.2 AI 模型，API 调用费下降 20%。

    Anthropic 推出 Claude Fable 5.2 和 Claude Mythos 5.2 模型，后者面向专业机构。Fable 5.2 每百万词元输入/输出费用分别为 8/40 美元，较 5.1 下降 20%。生成速度最高提升 30%，可选快速模式 2.5 倍速但价格更高。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  9. The Decoder

    Anthropic的Claude Fable 5.2和Mythos 5.2在IPO前重夺AI性能领先地位

    Anthropic发布的Claude Fable 5.2和Mythos 5.2在多个基准测试中超越竞争对手，包括在Artificial Analysis Index v5高计算层级中以65分领先GPT-6和Gemini 4 Carbon。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  10. Epoch AI

    Inference Performance Index (IPI) 如何衡量推理能力

    Nvidia GB300 相比 H100 在智能体推理任务上的能力提升达 25 倍，远超 8 位 FLOP/s 的 2.5 倍增长。IPI 指数通过比较芯片在多种输出速度要求下能同时处理的请求数量来衡量推理能力，GB300 设为基准值 1，得分为 1 的芯片能同等条件下服务两倍用户。IPI 版本 1 结合四款代表性模型结果，采用 GB300 当作参考基准。

  11. Artificial Analysis Articles66

    Meta 最新模型 Muse Ember 在 AI 指数上得分 36，与 Claude Haiku 5.5 相当但成本更低

    Muse Ember 得分 36，与 Claude Haiku 5.5 相当但任务成本仅为 0.14 美元，较后者低三分之二；其输入输出 token 价格与 Claude Haiku 5.5 和 GPT-6 Luna 相同，但缓存输入成本更低。在 AutomationBench-AA 上得分 68.1%，与 Muse Wonder 相当，但在知识准确率上最低（21.1%）

    同一件事 · 2 家
11月9日周一
  2. Artificial Analysis Articles38

    介绍 Artificial Analysis 决策指数 v2

    Artificial Analysis 发布决策指数 v2，采用新指标奖励模型正确性与校准置信度，45%基准基于私有数据集；Drex Max v1.1（Nace AI）以 73 分领先，GPT-6 Luna（Max）以 76 分位列语言模型第一，但成本与推理时间显著更高。