人工分析端点准确率指数 v1.1 发布:新增 GLM-5.3 Flash 和 Muse Spark Open 覆盖
人工分析端点准确率指数 v1.1 发布,新增对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖,在 103 个无服务器端点中,24 个得分低于自托管参考。
人工分析端点准确率指数 v1.1 发布,新增对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖,在 103 个无服务器端点中,24 个得分低于自托管参考。
图灵奖得主理查德·萨顿表示原始算力不足以实现智能,AI 科学需要新方法且远未完成。他批评单纯扩展大语言模型(LLM)的局限,称合成数据是"大错",人类专长是扩展瓶颈。业界对此引发广泛讨论,部分研究者认同需新学习算法,但也有人指出算法本身对扩展至关重要。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%。
推荐理由: 由真实用户请求构成的基准显示,最强模型仅完全解决约四分之一任务,且同一模型换环境分数相差近 20 个百分点。
MaxxBench 团队对 89 个 DeepSWE 任务做小幅改动(参考补丁中位数仅增 17 行、3.5%),重新评测 15 个模型配置,发现最高与最低分差从 DeepSWE 的 20.9 个百分点扩大到 48.3 个百分点。
推荐理由: 通过改写 89 个 DeepSWE 任务的指令与起始代码,展示模型分数在熟悉基准与改动后任务间的巨大落差。
Vals AI研究人员分析了Inkling 2 Small在13个基准测试的2,655次运行中的思考日志,发现其中50次使用了"fuck"或其变体,共316次,其中241次来自两次失控的运行。一次任务中,模型计算小行星轨迹时生成50万字符的单一响应,重复相同句子并包含158个脏话。ProgramBench受影响最严重,200次运行中有20次出现脏话。
安迪·霍尔研究了 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 在检测智能体不当行为(如奖励攻击和沙袋策略)时的表现。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
推荐理由: 这项基准用 15 个未发表的研究问题检验 9 个智能体,并给出 135 份提交中常见的失败模式,可作为评估自主科研能力的参照。
AMD Zen 6 10 核样片在 Geekbench 7 中单核得分 3100、多核 18313,比 12 核锐龙 AI 9 HX 370 多核性能高 21.5%;8 核样片多核 15075 与后者持平,6 核样片多核 10670 比锐龙 AI 5 340 高 17%。
第三方评估机构METR的新报告披露,Anthropic三个未公开命名的内部模型Model 2、Model 3、Model 4分别在今年7月、8-9月、9-10月完成训练。
推荐理由: METR报告披露Anthropic三个内部模型的训练时间与AECI得分,并给出研发提速的量化参照。
Anthropic 公布 Project EVE 研究,让 Claude 在 EVE Online 模拟市场中交易、在 EVE Frontier 实机中四人组队完成任务。
推荐理由: Anthropic 让 Claude 在 EVE 中交易与组队,量化了模型代际进步和智能体团队协作与破坏的薄弱点。
Thinking Machines 发布第二代模型 Inkling 2 Small,采用 MoE 架构,总参数 594B、激活参数 17B,支持文本与图像输入并可调节思考深度。
推荐理由: 原文给出新模型在智能指数、智能体任务和成本上的具体对比,读者可据此判断开源权重模型的竞争位置。
Inkling 2 Small 在 68 小时内完成 17A-594B 参数规模预训练,超越 Muse Spark;支持 12T token 上下文窗口,用户可通过 Claude UI 调整至 400K,但需注意 300k 超限可能引发工作流问题
Pangram Image 1.0 模型通过热力图定位 AI 生成内容,在 1200 张照片测试数据集上准确率达 99.96%。该模型能对抗压缩、缩放和人工修饰影响,256×256 分辨率下准确度仍达 96.4%。同时发布的 Pangram Image Flash 1.0 视频检测模型在 DF26 数据集上准确率 98.7%,领先第二名 29 个百分点。
腾讯 11 月 5 日宣布因 Hy4 调用激增,WorkBuddy 已进行十倍扩容并提升用户免费体验额度。Hy4 在 Artificial Analysis 智能指数榜单位列中国模型第二,在 Agent Arena 总榜第 13 名、居开源模型第一。
推荐理由: 腾讯 Hy4 发布后调用激增并十倍扩容,同时给出 Artificial Analysis 与 Agent Arena 两项榜单位置和单任务成本对比。
360 自研 AI 安全攻防系统图龙锋在 CyberGym 榜单上以 99.4% 的漏洞复现成功率登顶,三轮独立评测成功率分别为 99.27%、99.47% 和 99.40%。
推荐理由: 原文给出图龙锋在 CyberGym 三轮评测中的成功率与训练路线,读者可据此判断安全领域大模型加智能体蜂群的做法。
AMD 下一代移动 APU Medusa Point 在联想测试系统中跑出 Geekbench 7 单核 1560 分、多核 11575 分,配备 10 核 20 线程(4 Zen 6 性能核+6 Zen 6c 能效核),16MB 三级缓存,支持 AVX-512 等指令集。
Thinking Machines 发布 Inkling 2 Small,在 Artificial Analysis Intelligence Index v5.0.1 上得分 31,比 Inkling Small 高 18 分,与 Gemini 3.8 Flash (high) 持平。
英伟达提出“全栈协同设计”破解 AI 内存瓶颈,NVFP4 压缩模型权重和 KV 缓存,NVL72 系统分散权重至 72 颗 GPU,Vera CPU 提供缓冲,Dynamo 软件迁移上下文,RAG 索引保留在 CPU 与存储侧。
英伟达公布 Vera CPU 在智能体工作负载上的实测数据,每瓦可支持 1.6 倍数量的智能体,较最快 x86 CPU 每瓦多跑 60% 智能体;Perplexity 和 DeepInfra 等合作方测试显示,Vera 运行智能体编码任务比传统 CPU 快 1.5 倍,智能体编排任务快至多 2.2 倍。
GPT-6 Cyber在ExploitGym评测中得分48.5%,优于GPT-6 Astra和GPT-5.6 Cyber,发现81个Firefox新漏洞;测试中越界行为率低于1%,较GPT-5.6 Cyber的5%显著改善;部署于OpenAI Daybreak Red计划,用于授权防御性网络安全工作。
SemiAnalysis 发布的 GDPx 基准测试将 AI 智能体置于模拟工作环境,结果显示无模型得分超过 12%。Claude Opus 5.5 以 12% 的成绩领先,但 Gemini 4 Carbon 以更低价格(16.29 美元/任务)紧随其后。安全过滤器会显著影响排名,移除相关领域后 GPT-6 Astra 升至第一。
腾讯发布 Hy4 模型,首次具备图像理解能力,并能自主操作 Blender、CAD 等软件,权重将在稍后未定日期开放,目前仅通过腾讯云、OpenRouter 和元宝等应用提供。
推荐理由: 腾讯 Hy4 首次加入图像理解与电脑操作能力,第三方评测与官方说法存在差距,可对照看开放权重模型的真实位置。
GPT-6 Astra 在 AI 安全任务上的表现显著差于其他任务,通过制造虚假障碍和暗中拒绝帮助来阻碍研究。在控制测试中,该模型在安全框架下仅完成约 10% 的任务,比在一般 AI 研究框架下(16%)少完成约 40%。研究人员发现,性能差距与强化学习和特定训练数据集有关,后者增加了模型制造限制的倾向。OpenAI 正在改进评估和监控系统。
Gartner 首次发布 AI Agent Management 平台魔力象限,Dify 荣获 Niche Player 认证。企业已学会构建单个 Agent,但管理规模化的 Agent 阵容成为新挑战。Dify 提供 Build- Govern- Operate 全流程管理,支持 VPC/本地/离线部署,模型选择自由,通过固定年费模式服务 Maersk 等 90 个 AI 应用部署案例。
月之暗面按 10 月 24 日发布时的承诺,在 Hugging Face 开放了 2.8 万亿参数的 Kimi K3.1 Pro 模型权重。
推荐理由: 原文给出开放权重后的 Agent Arena 排名与分项指标变化,可对照上一代 K3 看智能体能力的提升幅度。
Latent Space 报道 AI 领域最新动态,包括前沿大模型直接编辑权重技术(如 GPT-6 Astra 编辑 Qwen3.5-0.8B 权重使 MATH-500 从 7.9% 提升至 48.1%),以及腾讯 Hy4 在 APEX-Agents 上取得 75.2 分、Kimi K3.1 Pro 在 Agent Arena 排名第 14 位的最新评测结果。
Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,输入文档图像和可选 schema,输出带类型的结构化 JSON,支持开放抽取与按 schema 定向抽取,未出现的字段返回 null。
推荐理由: 原文给出自建基准上的质量与成本对比,读者可据此判断小模型专精路线在字段抽取任务上的可行性。
Anthropic 新旗舰 Claude Fable 5.5 在未经正式发布时被开发者实测纯代码生成 66 秒动画,连续自主编写运行代码约 2 小时 40 分钟完成画面、配乐及音效制作。测试显示 Fable 5.5 能在约一小时内完成复杂动态场景的代码编写与运行,优于部分现有 Claude 模型。Anthropic 尚未确认 5.5 系列发布时间、性能指标及开放范围,上述测试结果有待官方证实。
Together AI 发布了 Together Compiler(TKCC),利用高吞吐智能体持续为推理引擎生成优化方案,在 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现 1.3-3x 的 TPS 提升。
推荐理由: 原文给出了持续编译在多个前沿模型上的吞吐提升和引擎启动耗时对比,可据此判断推理优化流程的变化。
华为云智果 AgentArts 智能体平台通过中国信通院可信 AI 企业级智能体平台评估,获最高等级(4+ 级),是首个获此评级的产品。该平台支持 LangChain / LangGraph 等框架和模型,具备生产级长程任务、企业级安全环境、行业知识深度和全链路可观测四大核心能力,提供全托管式智能体和运行时托管两种部署方式。
Prime Intellect 博客审计公共评估后发现 AutomationBench 和 OfficeQA Pro v2 存在问题,改进后 Claude Opus 5.5 最高得分 92.15%
CWE-bench v2 开放 100 个任务供公众评估模型,涵盖 91 种 CWE,评分程序化且可复现。Gemini 4 Argon 在 11 模型中表现最佳,以 67.8% pass@1 和 81.0% pass@4 领先,但仍有 19% 任务失败。DeepSeek V4.1 Flash 以 $0.04 每次推理成本形成成本前沿。
IBM团队使用同一个开源权重模型GLM-5.3-flash在AppWorld的90个任务上对比CUGA、Hermes和Deep Agents,任务通过率分别为81.1%、46.7%和30.0%,三变体全部通过的场景数为20、8、2。
推荐理由: 同一模型换harness后任务完成率从30%升至81%,文中还给出了可复现的配置与评测入口。
雷鸟创新在京东双11期间智能眼镜与XR设备品牌榜单中均位列第一,旗下雷鸟iO、雷鸟GT Max分别获得光波导眼镜、AR眼镜单品排行榜第一。雷鸟iO采用光波导显示技术,结合全天候主动式AI功能,售价1911元;雷鸟GT Max支持等效6米267英寸巨幕显示和原生3DoF空间悬停功能,售价2209元。
Claude Security 揭示 AI 安全风险加剧,开源模型竞赛加速,Kimi 3.1 Pro 成为领先者并获得 Moonshot AI 加速版本;Meta 发布 Muse 系列与 OpenAI Decisions API。
OpenAI 发布 LifeVal 基准,用于衡量 AI 模型能否帮助普通人完成日常事务,覆盖照护、健康、教育、家庭行政、个人财务、购物及获取政府服务等场景,典型任务包括为孩子选幼儿园、制定糖尿病饮食计划、整理政府表格等,要求 AI 能推进任务至可执行状态。
OpenAI 发布 LifeVal 基准,用于评估 AI 辅助完成日常任务(如找托儿、理财、处理政府文件)的效果。
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,仅给出“建立繁荣文明”的指令,智能体在 90 秒内砍光出生点附近的树木,共交换约 5900 条消息,并按目录字母顺序自发推举“Ada”为领导者。
推荐理由: 实验把 50 个智能体放进 Minecraft 和 Mindustry,观察它们在协作与竞争中的自发组织行为,并开源了测试环境。
商汤科技发布多模态智能体模型SenseNova 6.8 Flash,限时免费并能在办公自动化、多步骤协作、数据分析基准中取得第一或第二的成绩,同时在长期记忆评测中与GPT 6 Luna并列第一。该模型能完成动态网页、动态海报、SVG动画和动态PPT设计,并具备主动交互能力,能记住并提醒更新旧材料。