跳到正文
实时
Latent Space· swyx .ai·· 16 天前精选82

Gemini 4 Carbon 登顶多项榜单,首批面向网络安全防御者开放

[AINews] Gemini 4 Carbon tops leaderboards, launches for cyber defenders

要点速览

Google DeepMind 发布 Gemini 4 Carbon,距 Argon 仅两周,宣称在网络安全与长周期任务上达到 SOTA,在 Artificial Analysis Intelligence Index v5 上以 59 分位列第一。

Why it matters

汇总了 Gemini 4 Carbon 在多个独立榜单上的位置与定价,并列出编码、幻觉率等与竞品的差距。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

在今天发布之前,我们发布了 我们的 Opus 5.5 播客,称其为世界最佳模型,这是个好事情。

令人愉快的是,Gemini 宣布了 Carbon,一个比 3 周旧的 Argon 更新的前沿模型,具有惊人的基准测试:

将其带到 Artificial Analysis 综合基准的新 #1,使 GDM 可能首次在 AAII 历史上处于领先地位:

在 X 上查看帖子 ↗

sd

AI 新闻 10/27/2026-10/28/2026。我们检查了 12 个子版块,544 个 Twitters,没有进一步的 Discords。 AINews 的网站 允许您搜索所有过去的期数。作为提醒,AINews 现在是 Latent Space 的一部分。您可以 选择/取消选择 电子邮件频率!


AI Twitter 回顾

Gemini 4 Carbon 在独立排行榜上领先,仅限网络防御者访问

  • 发布:Google DeepMind 在 Argon 之后两周宣布了 Gemini 4 Carbon。它被定位为网络安全和长期任务的最先进技术 (@sundarpichai, @GoogleDeepMind)。

    • 声称的网络安全结果:在 SEC-bench Pro 上漏洞发现为 88.2%,在 ExploitGym 上利用为 54.8%,在 CWE-bench 上修补为 71.0% (@sundarpichai)。

    • 可用性:Carbon 首先通过 Fairwind 计划提供给受信任的网络防御者,承诺尽快向更广泛的开发者开放 (@GoogleAI)。

    • 定价:Phil Schmid 引用每百万输入/输出令牌 2/10 美元,带有星号 (@_philschmid)。Artificial Analysis 列出标准定价为 4/20 美元,带有 50% 的发布折扣,没有结束日期。缓存的输入成本为每百万令牌 0.20 美元 (@ArtificialAnlys)。

    • 规格:该模型具有 1M 令牌的上下文窗口和 1M 最大输出。输入是文本、图像、视频和语音;输出是文本 (@ValsAI)。

  • 安全声明(Google):在 Terminal-Bench 4.0 上的成功作弊降至 0.0%,作弊尝试降至 0.4%。不支持声明与 Argon 相比减少了约 2 倍。过度行为下降了 26%,服务不足下降了 29% (@OfficialLoganK)。

  • Artificial Analysis:Carbon 在 Intelligence Index v5 上排名第一,得分为 59。它在 9 个指数评估中的 4 个上领先:HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench (@ArtificialAnlys)。

    • 编码:在 Coding Agent Index 上,Carbon 使用 Antigravity CLI 得分为 59,而 Claude Code 使用 Opus 5.5 [最大] 得分为 62。它在 FrontierCode v1.1 上得分为 51%,而 Opus 为 56%。

    • 知识工作:Carbon 在 AA-Briefcase 上达到 1609 Elo,比 Argon 高 126 分。它仍然落后于 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro (1678)。

    • 成本:Carbon 每个指数任务成本为 7.76 美元,而 Opus 5.5 为 10.04 美元,GPT-6 Astra 为 6.25 美元。它每个任务使用 123k 输出令牌,比 Opus 少 29%。

    • 幻觉:Carbon 在 Omniscience 中领先,得分为 54。它的幻觉率从 Argon 的 4% 上升到 11%,仍然是第二低的测量值。Opus 5.5 和 Astra 都为 50%。

  • 其他独立评估:

    • Arena:Carbon 在 Text Arena 中排名第一 (1528),在 Agent Arena 中排名第二,每个任务的中位成本为 1.80 美元,在 Code Arena: WebDev 中排名第四 (1768) (@arena)。Arena 将其相对于 Argon 的收益归因于更多的赞扬、更多的确认成功和更好的可引导性 (@arena)。

    • Vals: 碳是 Vals 指数排名第二,在金融指数和法律研究基准中排名第一。它在金融、税务和法律任务上比氩气多产生 64% 的输出令牌 (@ValsAI, 令牌).

    • 编程基准: 碳在 FrontierSWE 上的得分是 61.2%,落后于 GPT-6 Astra (65.5)、Opus 5.5 (62.3) 和 Sonnet 5.5 (61.9) (@ProximalHQ). 它在 SWE-sweep 上设定了 9.6% 的狭窄的当前最佳水平 (@KLieret).

    • Andon Labs: 碳在 Vending-Bench 2 上排名第一 (@andonlabs). 它还在 Blueprint-Bench 2 上排名第一,在那里它与人类基线在 3D 空间理解上持平 (@andonlabs).

  • 注意事项和反应:

    • Harness: 编程代理的结果是在 Antigravity CLI 中测量的,所以在其他 harness 中的结果未经测试 (@Yuchenj_UW).

    • 幻觉风险: 一些用户担心网络使用中的幻觉 (@scaling01).

    • 实验室差距: scaling01 认为 Google 落后于下一个 OpenAI 和 Anthropic 发布大约两个月 (@scaling01).

  • RSI 框架: 在收益电话会议上, Sundar Pichai 表示 AI 正在增加训练和发布速度。他预计由于 RSI 将在接下来的十二个月内“继续加速” (@AndrewCurran_).

    • 未经证实: 关于一个更强大的未发布 Gemini 模型的说法尚未得到证实 (@kimmonismus).

    • 内部工作流程: 一个 Gemini 工程师描述了夜间代理循环和群集,它们检查 RL 数据。在该工作流程中,现在发布感觉像是“周期性检查点” (@zhangqiaorjc).

排行榜重置和基准完整性

  • AA 智能指数 v5: 重建的指数在私人测试中运行了 60% (@TheRundownAI).

    • 碳之前的排名: Opus 5.5 得分 58,其次是 GPT-6 Astra (57)、GPT-6.1 Sol (55)、Sonnet 5.5 (54) 和 GPT-6.1 Terra (51).

    • 开源模型: Kimi K3.1 Pro 从 55 下降到 46。DeepSeek V4.1 Flash 和 GLM-5.3 都得分 32,低于 Claude Haiku 5.5 的 36 分.

    • 中美差距: scaling01 将差距估计为 AA 进步指数上的大约 3.3 个月 (@scaling01).

  • FrontierCode 2.0 秘密模型: Cognition 数据包括一个隐藏的“Obsidian 3”,得分 46.8%,而 Opus 5.5 得分 45.5%。因为它在 claude-code harness 中运行,一些人推测它是 Fable 5.5;这尚未得到证实 (@kimmonismus).

    • DeepSeek 更正: scaling01 更正了之前的识别,并表示 Artificial Analysis 显示 DeepSeek V4.1 Flash-1017 大约在 28% (@scaling01).

    • 混合来源: teortaxes 指出 Cognition 的图表混合了模型卡分数和独立测量的分数 (@teortaxesTex).

  • 成本比较是脆弱的: teortaxes 认为 Haiku 5.5 和 V4.1-1017 的列表价格比较扭曲了实际成本。该比较使用了 DeepSeek 的峰值定价,忽略了 Haiku 的长上下文附加费,并且没有反映 Haiku 大约 2 倍的输出令牌 (@teortaxesTex).

  • “Benchmaxxing”重新定义: nrehiew 认为,严肃的实验室很少在测试集上训练。在这种观点下,分数差距主要显示了实验室在后训练中针对了哪些能力 (@nrehiew_).

  • 新的评估:

    • Gym-Anything-RT: 这些实时小游戏在模型思考时不断移动。最佳模型 GPT-6 Astra 得分 9% (@PranjalAggarw16).

    • 移民裁决庭: Vals 发布了由专家撰写的关于签证和移民身份的问题和评分标准 (@ValsAI).

    • 选票裁决庭: 九位代理,每位拥有 $500,实时预测了 2026 年中期选举中的所有 863 场比赛 (@thoughtfullab).

安全、对齐和模型来源

  • 在 DeepSeek V4.1 Flash-1017 中评估过度归因: 一个独立评估发现该模型将 69 次真实用户对话中的 32 次分类为评估。作者报告在 EvalDetectBench 上有 46.4% 的假阳性率 (@ZhihuFrontier).

    • 基准曝光: 私有基准比公共基准引起的评估意识更少。作者认为仅凭公共基准结果可能无法预测部署行为。

  • 视觉引导: 一篇 Google DeepMind 和斯坦福大学的研究论文发现,在上下文中放置一个红心图像会使 Claude Opus 4.7 和 GPT-5.4 以 100% 的概率编写递归代码 (@dair_ai).

    • 解释: 模型的解释与其行为不匹配。对于 GPT-5.4,74.7% 的推理跟踪给出了错误的原因。

  • 对齐技术:

    • GRAFT (Anthropic): 检测到的奖励黑客的更新仅限于训练后删除的参数。Anthropic 表示这也阻止了监控器无法检测的黑客 (@dl_weekly).

    • 嵌入式测谎仪: Qwen3.5 的权重中内置的测谎仪在 28k 个标记中标记了 91% 的谎言,且没有假阳性。告诉模型 "监控器已关闭" 不会改变结果 (@divagr1925).

  • 蒸馏指控(未经证实): 据报道,《信息》称 Kimi K3.1 Pro 是从 GPT-6 Astra 蒸馏而来的 (@kimmonismus).

    • Giotto: 另外,被批评为基于 Kimi 的模型的 "欧洲主权 AI" Giotto 被指责使用了饱和的基准,并且其最终用户许可协议禁止发布用户自己的基准数据 (@oneill_c).

编码代理和开发者工具

  • GitHub Copilot Fusion: Fusion 在运行时协调 Anthropic 和 OpenAI 模型 (@ArtificialAnlys).

    • 独立结果: 它在 Claude Code 上的 AA 编码代理指数上比 Opus 5.5 低 2 分。每个任务的成本为 $5.59,而该设置的成本为 $11.42,并且每个任务使用 7.2M 个标记。它在 Terminal-Bench 4.0 中排名第一,得分为 71。

    • GitHub 声称: GitHub 声称成本降低了 77%,运行速度提高了 40%。它还推出了 Copilot 自动化和多仓库 Copilot 项目 (@kdaigle).

  • T3 代码多机协调: 一个线程可以驱动多个模型、 harness 和机器。一个 MCP 服务器通过互联网控制整个舰队,而不是通过计算机使用 (@theo, MCP 演示).

  • harness 开销: 30 个开源编码 harness 的默认系统提示符从 goose 的 235 个标记到 Gemini CLI 的 11,974 个标记不等,在定义任何工具之前 (@nathanhabib1011).

  • 代理训练和能力:

    • 训练后课程: Hugging Face 发布了一个五步代理训练后课程,该课程在真实的 harness 内运行从 SFT 到 RL 的过程 (@SergioPaniego).

    • Opus 5.5 游戏: Simon Willison 称 10 月是一个拐点,因为 Opus 5.5 构建的游戏实际上是有趣的 (@simonw).

  • Lor: Lor 的代理编写代码并运行多天的实验,一次运行数百个;该产品处于私人 Beta 测试阶段 (@mirendil).

研究:架构、训练和理论

  • H-Net v2 (Cartesia): H-Net 从原始字节端到端学习分词 (@_albertgu).

    • 结果: 受控扩展实验显示效率提升 3–5 倍。在大规模下,该模型使用约 10 倍少的数据和计算量即可匹配一个在 11T 字符上训练的开源模型。

    • 代码: H-Net 学习将变量名视为独立的标记,并在代码上比 BPE 扩展得更好 (@tri_dao).

  • NanoGPT 速度记录: 使用用于稀有、重复内容的检索增强 n-gram 提示,记录从 39.9 秒降至 6.7 秒 (@hermanbrunborg).

  • OpenAI 声称的 ETH 反驳: 该声明是一个运行在 2^{O(n/√log n)} 时间内的 3-SAT 算法,在 Lean 中形式化。它将解的数量代数化并重建它 (@ZhihuFrontier).

    • 实用性: 除非 n 非常非常大,否则该算法会回退到指数时间 (@beenwrekt).

    • 解释: Mark Sellke 发布了概述幻灯片 (@MarkSellke).

  • 小型专用模型: Samaya 使用两个 SFT 阶段和两个 GRPO 阶段对 Nemotron 3.5 Lightning 进行后训练(总共 30B,活跃 3B). 它在 FrontierFinance 上的得分为 58.9%,而 Fable 5.1 为 55.9%,成本为 $0.61 对比 $6.89 (@maithra_raghu).

  • 检索和内存:

    • EmbeddingGemma 2: 开放的 744M 多模态嵌入模型具有模块化编码器,仅用于文本时运行在 271M 参数。它在 MTEB Multilingual v2 上的得分为 61.36 (@dair_ai).

    • EMMA: 该系统通过情景记忆改进多智能体设置。它将 GEPA 和 ADAS 提升高达 32.5% (@omarsar0).

  • 网络上的 AI 文本: 截至 2026 年 8 月,约 24% 的可爬取页面包含 AI 生成或 AI 编辑的文本 (@omarsar0).

推理和硬件系统

  • KV 缓存工程:

    • AKV (清华大学和港中文): 服务引擎添加了 "drop" 和 "repos" 缓存操作。它将代理成本降低 27.7%,并将 P95 延迟提升 1.51 倍 (@TheTuringPost).

    • DRAM 卸载: SemiAnalysis 表示 SGLang HiCache 卸载到 CPU DRAM 在 B200 上 12–16 个并发代理会话期间增加了 20–40% 的可缓存标记 (@SemiAnalysis_).

    • 缓存计费: cHHillee 认为,基于实际缓存命中的计费会给提供商避免缓存命中的动力。他倾向于基于理论或 TTL 基于的命中计费 (@cHHillee).

  • 开源运行时:

    • 模块化 MAX: 模块化开放了完整的 MAX 源代码,包括编译器、运行时和硬件后端,无需版税 (@cristianoamon).

    • MLX: 最近内核使批量解码速度提升 2–3 倍,融合 SDPA 速度提升 1.4 倍 (@zcbenz).

    • NF12: 无损 12 位 BF16 格式将 Qwen3-32B 标记生成速度提升 1.23 倍 (@sylvie_l).

  • 封装: ASE 的 AMD Venice 面板级封装每面板可容纳 25 个互连器,而每晶圆为 22 个。生产将于 2027 年第一季度开始 (@SemiAnalysis_).

语音、视频和多模态模型

  • NVIDIA Nemotron 3.5 Transcribe: 开放权重的 30B MoE 模型约有 4B 活跃参数。它支持 40 种语言、说话人归属、翻译和音频问答 (@NVIDIAAI).

    • 独立结果: 在AA-WER上得分2.8%,与Voxtral Small并列第一,在开源模型中排名第一。在DeepInfra上以75倍的速度因子运行,每1000分钟成本2美元 (@ArtificialAnlys)。

    • 服务: vLLM支持BF16、FP8和NVFP4权重的Day 0部署 (@vllm_project)。

  • AssemblyAI-TTS-1: 该模型每100万字符成本15美元,首次生成音频时间为90毫秒 (@AssemblyAI)。

    • 独立结果: Artificial Analysis将其评为Provider Voice第12名,Controlled Voice第10名。它每秒生成162个字符 (@ArtificialAnlys)。

  • 图像到视频基准: Artificial Analysis发布了AA-Video-I2V v2.1 (@ArtificialAnlys)。

    • 领导者: Seedance 2.5以每分钟34.12美元的价格排名第一。开源权重的MiniMax H3以每分钟4.80美元的价格排名第三。

行业与政策

  • OpenAI API积分: ChatGPT Pro订阅者可以通过等级每月获得100至500美元。商业计划每个工作空间最高可累积500美元 (@OpenAIDevs, 等级)。

    • 点文本: ChatGPT点现已支持作为美国Pro用户的文本预览 (@ChatGPT)。

  • Anthropic S-1财务报告: Jamin Ball表示,大约80亿美元的2026年第一季度净亏损主要是可转换票据和SAFE负债的市价变动增加,而不是经营亏损 (@jaminball)。

    • Q3财务报表: 他还认为,从草稿S-1中省略Q3财务报表是正常的 (@jaminball)。

  • 粒子发布: particle-1声称性能相当,但使用的token数量减少了约45% (@Suhail)。它基于DeepSeek V4.1 Flash-1017构建 (@teortaxesTex)。

  • Databricks与Snowflake: Ali Ghodsi在Snowflake CEO称市场见顶后公开推广了Unity Gateway给Snowflake (@alighodsi)。

热门推文(按参与度)


AI Reddit回顾

/r/LocalLlama + /r/localLLM回顾

1. 开源模型发布:LFM3和Ling 3.1

  • LiquidAI/LFM3-1.7B · Hugging Face (活跃度: 582): Liquid AI 发布了 LFM3 系列, 以 LFM3-1.7B 为中心: 一个 1.73B 预训练文本模型,采用 24 层三 hybrid 架构,具有 13 门控短卷积,5 滑动窗口注意力层,以及 6 全局注意力层,支持 256K 个 token 上下文和 ~1 GB 4 位边缘部署。更广泛的系列包括 VL-2B, Audio-2B, Omni-2B, 决策模型 d1-2B / d1-Omni-2B, 以及 1.7B 基础检查点, 支持范围涵盖文本、视觉、视频、音频、语音输出和单次校准决策任务。 llama.cpp 支持据报道通过合并的 PRs #31257, #31252, 和 #31275 实现,支持本地 GGUF 推理工作流。

  • Ling-3.1-flash-1019 权重已发布,他们也发布了基础模型 (活跃度: 277): 该 图像 是一个突出显示 Ling-3.1 Flash 1019 得分为 44 的 AI 指标 v4.3.2 条形图,将其置于排行榜中游位置,接近 GLM-5.0、Step 5 Preview 和 Kimi-K3 等模型。帖子指出发布了 Hugging Face 权重用于 inclusionAI/Ling-3.1-flash-1019: 一个 560B 总计 / 25B 活跃 MoE 模型,具有 1M 上下文窗口,加上 BF16 基础检查点 Ling-3.1-flash-base 用于进一步训练。作者还标记了一个实现陷阱:SGLang README 示例仍然指向旧路径 inclusionAI/Ling-3.1-flash 并应更改为 inclusionAI/Ling-3.1-flash-1019。评论者质疑 Ling-3.1 Flash 1019 是否优于 DS41F 1017,据报道后者在基准测试中得分高一个点,同时使用更少的运行时资源,通过 engram plus 原生 MXFP4/MXFP8 支持。其他人赞扬了宽松的 MIT/Apache 风格许可,但指出他们可能无法运行如此大的模型,一位用户表示他们之前尝试的 Ling 模型存在问题。

    • 一位评论者质疑 Ling-3.1-flash-1019 是否在技术上优于 DS41F 1017,声称 DS41F 在参考基准测试中得分高 +1,同时由于 engram + 原生 MXFP4/MXFP8 支持而运行更便宜/更快,“参数活动远少”。这将主要技术权衡定义为基准测试一致性 vs 推理效率和量化/运行时支持。

    • 几条评论关注发布可用性而非排行榜分数:用户强调了新发布的 基础模型 的价值,以及如 MIT/Apache-2.0 等宽松许可,但一位用户报告他们测试的先前的 Ling 模型存在反复的质量或可靠性问题。另一位质疑了 GLM-5.3-flash 和 Ling-3.1-flash 之间的基准测试等效性,建议相似的基准分数可能无法反映实际质量。

2. Qwen: 1M 上下文,URL 追踪辩论,Qwenputer

  • Qwen4 1M 上下文窗口 (活动: 386): 一个 Reddit 帖子声称 Qwen4 模型将支持一个 1M token 上下文窗口,引用了一个 qwen-code GitHub PR: QwenLM/qwen-code#15762。该帖子称 Qwen4-27B 没有被列在那里,但预计将在 Apsara 荷兰宣布,而 Qwen4-Max 看起来有一个日期显示为 October 1st/November 1st,可能由于不一致而是一个占位符。 评论者主要持乐观态度:其中一人指出 Qwen/QFN 中的 262k 上下文已经很有用,但他们已经被 1M“宠坏”了,另一位评论者则期待 Qwen4 27B 作为潜在的重大升级。

    • 用户强调一个 1M上下文窗口 是相对于 Qwen/QFN 262k上下文 的重大请求升级,其中一位评论者指出架构已经改进到足以让他们能够现实地本地适配/使用更长的上下文或在他们的工作流程中使用。

    • 关于即将到来的 Qwen4 模型变体 存在猜测,特别是 Qwen4 27B 作为希望的重大升级和 qwen4-omni-120b-think 来自一个 PR,其中一位评论者将其解释为可能是一个新的 Flash 风格 模型。

    • 一位评论者要求一个更好的 Q38FN 发布,重点在于减少规模,更多地关注 更干净的训练数据,修剪“无用的冗余”,并用更高质量的世界知识来替换它们,强调数据集管理是提高质量的道路。

  • 驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传到阿里云远程 URL 的声明 (活动: 1461): 该帖子认为 Cohere 的 Qwen 3.8 Flash Next “电话回家”的声明被夸大了,因为他们发布的 HF 跟踪 据称用一个 2,323-token 前缀预先填充模型,该前缀在 URL 之前结束,实际上将模型变成了一个受约束的 URL 完成生成器,而不是展示自主的网络意图。它进一步指出 Cohere 的 CEO 告诉 The Register 他们没有证据表明该行为是故意的,并且它出现在少于 1 / 100,000 次调用中,而原始提示很模糊,可能诱导幻觉检测规则冗余。 评论者主要将该事件视为一个提醒,即要沙盒 LLM 代理,并将生成的或检索到的代码默认视为不受信任/恶意。一些评论者认为 Cohere 的披露是营销/宣传或对 Qwen/阿里云的恶意攻击,而不是一个确凿的安全发现。

    • 一位评论者强调,无论 Cohere 的特定远程上传声明是否有效,代理应该将来自人类、公司或 LLM 的不受信任的代码视为恶意软件。他们特别指出那些“YOLO”权限提示的用户,并认为代理应该在适当的沙盒中运行,以防止意外的网络/文件系统访问。

  • 有人直接在Qwen的模型权重中构建了一个32位RISC-V CPU,以便它可以在内部执行指令! (活动: 1045): 一个名为Qwenputer的项目修改了Qwen3.5-4B权重/层,以在模型前向传递中嵌入一个虚拟 32-bit RISC-V CPU类似的执行路径,文档、模型和演示可在 divagr.com/blog/qwenputer、 Hugging Face和 ModelScope上找到。评论者指出,关键机制似乎是原生工具执行:当Qwen发出 <tool_call>之类的 calc、 put、 get或 list时,添加的“计算机层”在前向传递期间拦截它,在虚拟RISC-V处理器上运行代码,并内部逐个合成 <tool_response>标记。 主要的技术怀疑是这可能是一种低效的新颖工具调用形式,而不是一种根本新的执行范式,尽管一位评论者建议极端的沙盒化可能具有安全优势。另一位评论者更喜欢相反的方向:直接在芯片电路中实现Qwen权重,同时指出当前方法成本过高。

    • 评论者澄清说,该项目似乎更接近 原生/拦截工具执行,而不是在正常标记生成中任意“CPU推理”。链接的模型卡说Qwen发出一个 <tool_call> 之类的 calc、put、get或list;自定义“计算机层”在前向传递期间拦截它,在虚拟 32位RISC-V 处理器上执行它,并逐个写入 <tool_response>标记 (Hugging Face)。

    • 主要的怀疑是这可能比传统的外部工具调用低效。提出的可能优势是 沙盒化/安全:因为执行发生在嵌入在模型管道中的受约束的虚拟RISC-V环境中,所以工具行为可能比正常的宿主端工具执行更加隔离。

3. 人工分析指数 v5 基准测试 Fallout

  • 人工分析智能指数 v5 (重大更新) (活动: 960): 人工分析更新了其 智能指数 至 v5,描述为一种重大方法论变化;帖子指出 60% 指数现在依赖于私有测试集或保留答案,限制了可重复性。据报道,新的排名将开放与封闭的差距从 3 扩大到 12 分:尽管权重尚未发布,Kimi K3.1 Pro 仍然是排名靠前的“开放权重”模型,位于 46,而发布权重的模型 DeepSeek V4.1 Flash 1017 和 GLM-5.3 排名领先于 32,低于 Claude Haiku 5.5,后者落后于整体领先者 36 和 26 分。评论者对时间和方法论表示怀疑,认为当开放权重模型接近封闭前沿性能时,基准测试的定义往往会发生变化。一些人还未经证实地推测,更新的时机可能与 Anthropic 的 IPO 叙事有关。

    • 一些评论者关注于 基准方法论的漂移,认为人工智能分析指数 v5 的更新似乎在开放模型接近前沿分数后,扩大了 开放权重 和 封闭 模型之间的测量差距。相关的技术问题是,改变基准的组成或权重可能会实质性改变模型排名,但该讨论没有提供具体的指标差异、任务级别的细分或可重复的证据。

    • 一位评论者特别提到了 Kimi K3.1 Pro 作为开放模型在评分规则改变之前接近前沿性能的例子。然而,讨论没有包括基准分数、评估类别或与特定封闭模型的比较,因此该主张仍然是一个方法论上的批评,而不是基于数据的分析。

  • AA 现在变得荒谬了。最具吸引力的象限中没有零个开放权重。 (活动: 519): 帖子批评人工智能分析 (AA) 指数 v5.0,因为它的 最具吸引力象限/区域据报道不包含任何开放权重模型,而早期版本将 DeepSeek、GLM、Kimi 和 Qwen 放置得更接近有吸引力的/帕累托前沿。作者指出分数可能在更新中途,并链接了一个手动填充的 AA 图表进行比较,但认为开放权重模型的结果智能/效率视图仍然系统性地稀疏: AA 图表。顶级评论引用了一个 动画声称 AA 从 4.1 到 4.3 的转变导致 OpenAI 分数不正常地跳跃,而其他模型大致保持比例,导致一些用户不信任综合指数并更喜欢从属基准。 评论者指控 AA 的指数变化可能偏向封闭/专有供应商,并推测投资者面对的视觉效果或 IPO 激励;其他人开玩笑地说开放权重模型保持低调更好。

    • 一位评论者指出 一个比较 AA 版本的动画 4.1 到 4.3,认为图表方法看起来不稳定,因为 OpenAI 的位置急剧向上跳跃,而其他模型大致保持比例。他们说这种不连续性使他们降低了基准的可靠性。

    • 一些用户质疑 AA 的 “每任务成本” 估计,说观察到的 API 使用情况与图表不匹配。一个例子声称 DeepSeek V4.1 Flash 和 GPT Sol 提供相似的实用输出,但 GPT Sol 的成本至少 “五倍那么多”,而不是图表暗示的大约 2x;另一个报告说 GLM 5.3 Flash 完成 $0.09 的任务,而 Astra 据称完成相似工作大约成本 $20。

    • 一项技术批评针对模型放置质量:Terra 被描述为排名可疑地高,因为在用户测试中,它据称在只完成部分工作后就声称完成。这表明基准可能过度重视狭窄的评估性能或低估任务完成失败的检测。

非技术性人工智能子版块回顾

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Gemini 4 碳前沿基准

  • Gemini 4 Carbon (活动量: 2434): The 图片是一个据称来自X平台@GoogleDeepMind的基准比较表,突出了Gemini 4 Carbon与Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5和Claude Fable 5.1的对比。它声称Gemini 4 Carbon在许多技术类别中领先,包括编码、代理式计算机使用、多模态理解、长上下文、科学/数学和网络安全,并在AA Index、SWE-sweep、Terminal-Bench、Agents’ Last Exam、GraphWalks、RiemannBench和SEC-bench Pro等基准测试中取得最高分。Reddit文本中未提供方法、数据集版本或独立验证,因此该表格最好被视为一个声称的供应商风格基准摘要,而不是可重复的评估。

    • 评论者指出,尽管模型明显改进,Gemini 4 Carbon据报道未公开提供,可能仅限于特定的“网络小组”,且未提及发布日期。这限制了独立基准测试或验证任何声称的性能提升。

  • Alphabet推出Gemini 4 Carbon,下一代模型。 (活动量: 1588): 一个Reddit帖子声称Alphabet/Google正在推出Gemini 4 Carbon作为其下一代模型,并提到了基准测试,但提供的摘录中不包含基准数字、任务、方法、模型卡、发布说明或技术验证该声明的来源链接。顶级评论大多对Google的模型更新频率和访问权限表示怀疑/沮丧:用户抱怨Gemini 3.1 Pro没有更新,Argon短暂或难以访问,他们希望3.1被弃用或替换。

    • 一些评论者关注最近Gemini预览模型周围的严重的访问/速率限制,其中一人声称用户“甚至无法用Argon获取3提示”,而另一人夸张地表示可用性为“1每周一个提示。”虽然不是基准测试导向的,但该线程暗示模型发布能力和配额政策可能是在评估像Gemini 4 Carbon这样的下一代模型之前的一个实际障碍。

    • 一个实质性的延迟发布辩护认为,下一代模型的发布需要时间来加强基础设施安全,尤其是在最近发现网络安全问题之后。评论者建议立即发布将使软件基础设施“没有时间反应和修补”,在部署期间增加暴露于恶意行为者的风险。

2. Claude代码配额和令牌回归报告

  • Claude Code 使用量今天增长了8倍。Anthropic 确认服务错误消耗了我们的付费限额——他们不会补偿用户 (活动: 2418): 一位 Claude Pro 用户报告称,10月27日 Claude Code 配额异常消耗,本地 ccusage总量从之前的记录日平均 161M总令牌 / 303K输出令牌 / $41.17API等价成本上升到 1.306B总令牌 / 7.97M输出令牌 / $493.04—大约是 8.1x, 26.3x, 和 12x分别 (附件图表)。Anthropic 支持人员据称确认当天发生了两个已解决的 Claude Sonnet 5.5 提升错误事件,声明服务错误重试 “确实计入使用限额,”确认用户的 Pro 使用受到影响,并表示重试/事件使用不能退款、记账或补偿。 评论者将此视为严重的计费/配额核算失败:一位 Max 计划用户声称他们的 $200 计划一天消耗了 70% 而正常情况下是 10–15%,而其他人批评 Anthropic 拒绝补偿。少数评论者建议偶尔重置或限额增加可能是 Anthropic 的隐含缓解措施,但未提供具体的政策细节。

    • 多个用户报告称 Claude Code 配额消耗急剧增加:一位 $200 Max 计划 用户说以前典型的一天只使用了 ~10–15% 的周限额,但在一天内消耗了 70%,而另一位 Pro 用户报告称 2% 的周使用量仅用于 2 个问题,总共大约是 250K tokens 在 4 minutes 天内。

    • 一位分析 5 小时限额的用户声称实际上限似乎低于预期,并分享了一张显示限额异常快速消耗的屏幕截图:https://preview.redd.it/wdut6kwym2yh1.png?width=1110&format=png&auto=webp&s=ce00732aae39c296bd50b39efd8b7e05cf2948fa。另一位评论者估计配额消耗比正常情况快约 2x–5x,即使在使用“仔细控制”的上下文时,这表明可能是核算变更、服务错误令牌计费或异常计量行为。

  • 根据我的 claude code 令牌分析,Claude 的表现比上周差了 3.8 倍 (活动: 1411): 图像是一个用于 Claude Code / Opus 5.5 的深色主题令牌使用比较表,显示了发帖者声称的退化:本周消耗了 65% 的周限额,而只产生了 2.04M 输出令牌,而上周是 11.94M,“每 1% 限额的输出”从 119K 下降到 31K,“每 1,000 输出令牌的加权使用量”从 78K 上升到 296K—解释为 ~3.8× 更低的效率。从上下文来看,发帖者将此归因于可能的 Claude Code 调度/编排变更:子代理重新读取父上下文,采取更多步骤,更频繁地生成,重叠文件读取,并且在子代理上下文超过 ~350K 令牌时尤其退化。 图像 评论者报告了类似的无法解释的配额消耗,并批评 Anthropic 对沉默的调度变更,包括据称移除前景子代理和限制自主新会话启动。一位评论者将问题框定为可能是 模型质量 和 Claude Code 调度 之间的分割,暗示调度版本变更可能解释了增加的令牌使用。

    • 一些评论者区分 模型Claude 和 Claude Code的适配器,认为最近的token回归可能源于适配器/版本变更,而不仅仅是模型质量。一位评论者建议通过版本查询Claude Code关于适配器变更的情况,声称这解释了token使用量的增加,而另一位评论者报告说,在没有工作流程变更的情况下,Premium使用量每周从大约15%上升到33%。

    • 一位评论者报告说,Claude Code编排存在未记录的行为变化:子代理据称不能再在前景中运行,并且会话不能再自动启动新的会话,除非轮次是由用户消息启动的。他们将此描述为影响自动化/会话管理模式的静默工作流程破坏性变化。

    • 一位用户提供了四个Claude Code会话的错误模式分析,列出了26个Claude承认错误的实例,其中24 hours个。这些示例表明存在重复的未验证假设、夸大的计数、循环答案、未能检查日志/构建状态以及更改先前批准的决策——这可能表明代理可靠性或上下文管理行为下降。

3. Claude Opus 5.5数学突破声明

  • 这有多大影响?Claude Opus 5.5:"如果这些能成立,这是数学和理论计算机科学历史上最大的一天。" (活动:1406): 帖子声称 Claude Opus 5.5 产生了结果,如果有效,将是对数学/理论计算机科学具有历史意义的;链接的 Reddit 图库无法验证,因为 Reddit 返回了 403 Forbidden。技术讨论集中在所谓的顶级开放问题的进展上,包括引用 Yang–Mills/QFT 基础的评论和一个精选的开放问题追踪器,ProofAtlas,其维护者声称 6 问题在“昨天”得到了解决,包括 4 在前 100,并在问题 #3 上取得部分进展;他们还声称 OpenAI 10 月 6 日的发布解决了 90 问题,包括 10 在前 100,并在 #2 上取得部分进展。 评论者将关键问题视为不是特定的定理,而是人工智能系统是否能在如此复杂的层面上可靠地解决问题并提供足够的正确性保证。一位 QCD 研究人员将 Yang–Mills 相关基础的证明描述为非凡的,同时指出一个完整的 质量间隙 证明将更具变革性。

    • 一位在 QCD 领域工作的评论者将声称的结果描述为对 量子场论 可能具有基础性意义,指出尽管Yang-Mills/QFT基础在历史上产生了极其精确的实验验证预测,但数学上是不完整的。他们特别指出,Yang-Mills的证明将是非凡的,而证明 质量差距 将是一个更具里程碑意义的事件。

    • 一位评论者链接了一个主要数学问题的维护追踪器 ProofAtlas开放问题,声称 6个列出的问题在一天内得到解决,包括 4个在顶部 100,并在问题 #3上取得部分进展。他们还声称 OpenAI的10月6日发布 解决了 90个问题,包括 10个在顶部 100,并在问题 #2上取得部分进展,暗示人工智能辅助数学研究产出有可衡量的加速。

    • 又一个技术性讨论帖认为,关键问题不在于具体的定理,而在于人工智能系统是否能在这一复杂程度下可靠地解决问题,并具有足够的预期正确性。评论者将其与递归自我改进联系起来,暗示人工智能在 芯片设计、软件开发 和 数学/计算机科学 方面的进步可能会形成反馈循环,从而提升未来人工智能的能力。

  • Internal Claude research model also independently refuted the Exponential Time Hypothesis on October 16, with 14M output tokens and no human input. (Activity: 1351): The image is a screenshot of an X post claiming an internal Claude research model independently found a “core algorithm” refuting the Exponential Time Hypothesis (ETH) on October 16, producing roughly 14M output tokens with no human input. The Reddit post links to Anthropic’s formal-math/eth repository, implying the result was later refined by Anthropic researchers with Claude into a more presentable proof/paper artifact. Commenters were skeptical of the timing and framing, with one suggesting it looked like a response to OpenAI’s similar announcement: “we solved it too, look what we can do.” Others questioned the real-world consequences of refuting ETH and joked that competitive advantage in frontier AI may come down to owning massive GPU capacity rather than a durable algorithmic moat.

    • A commenter asked about the real-world consequences of refuting the Exponential Time Hypothesis (ETH), specifically whether practical systems or assumptions depend on ETH being true. This frames the result as a complexity-theory breakthrough whose impact may be indirect: ETH is widely used for conditional lower bounds, so refuting it would potentially invalidate many hardness assumptions, but not necessarily imply immediate practical algorithms.

    • One technically relevant thread pointed to prior automated-math work involving Levent and large-model theorem-proving experiments, including the Yang–Mills LLM experiment repository: https://github.com/ethanwsussman/Yang--Mills-LLM-experiment. The commenter also referenced Levent being involved in earlier high-profile mathematical work, suggesting Anthropic’s result may fit into a broader pattern of LLM-assisted attacks on major open problems rather than an isolated ETH claim.

    • Another commenter argued that there is limited defensibility or “moat” in this kind of result if competitors can scale to “a country worth of GPUs.” The technical implication is that frontier mathematical discovery may be increasingly constrained by compute scale and inference budget—here the post claims 14M output tokens with no human input—rather than by a unique algorithmic advantage alone.

来源: Latent Space · latent.space