CloudOpsBench 新开源基准揭示 AI 在云运维中的推理瓶颈
CloudOpsBench 1.0 版本包含 45 个 AWS 云运维任务,由密歇根大学团队开发,发现 AI 智能体在推理上存在严重瓶颈。Claude Fable 5.1 仅解决 60%,GPT-6 Astra 53%,80% 失败因任务范围误判或检查不全,20% 错误导致不可逆基础设施损坏。该项目已开源 Apache 2.0 许可。
CloudOpsBench 1.0 版本包含 45 个 AWS 云运维任务,由密歇根大学团队开发,发现 AI 智能体在推理上存在严重瓶颈。Claude Fable 5.1 仅解决 60%,GPT-6 Astra 53%,80% 失败因任务范围误判或检查不全,20% 错误导致不可逆基础设施损坏。该项目已开源 Apache 2.0 许可。
Indegene在其NEXT统一数据平台(NEXT UDP)上AWS上构建了一个生产级LLM驱动的数据质量代理,该代理生成上下文感知的数据质量规则,并在集中式人工审核治理下验证并生成可运行的SQL和Python代码,帮助企业以企业规模提升数据质量并减少构建和维护数据质量程序的精力。
Anthropic 发布了 FlashProve 原型,使用 zkSNARK 技术验证 AI 响应来源,不暴露模型权重。该系统在 H100 GPU 上为 400B 参数的 Llama 4 Maverick 生成证明的速度约为 110 tokens/秒,证明大小约 19 MB,验证耗时 17 秒,但相比正常推理有 70x-95x 的开销。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
GPT-6 Astra 通过分析模型权重直接重新编程其他 AI 模型,无需传统训练。它正确识别了网络学习的游戏和图像生成形状,并在 Qwen3.5-0.8B 上通过修改 0.016% 的权重,将 MATH-500 基准测试准确率从 7.9% 提升至 48.1%。研究人员认为其潜力在于安全审计和针对性行为调整,但模型能力仍有限。
Together AI发布Polymorphic Inference技术,通过AI智能体持续编译优化开源模型推理性能,以应对模型发布加速、架构多样化、工作负载和硬件平台快速变化带来的挑战。该技术使推理系统能够根据动态环境快速适应,例如在80%的OpenRouter流量来自近三个月发布的模型背景下,实现接近硬件极限的性能。
开源项目 npu-driver 通过 NPU 渲染 Win11 桌面,刷新率仅 2-3Hz,目标 30Hz。该项目采用 Apache 2.0 协议,已在搭载英特尔 Panther Lake 处理器的设备上测试,能基本运行桌面及应用窗口,并能在必要时切换回 GPU 渲染。
LoCo 通过本地偏好学习来教导推理模型何时停止推理,在数学和代码任务中大幅减少输出长度,同时保持或提高准确性。该方法在数学任务上减少完成长度 41.7%--45.4%,在代码任务上减少 23.4%--36.3%,并保持或提高准确性,同时在所有代码基准中实现最佳 AUC。LoCo 的代码和模型将公开发布。
FactEmbed通过将查询理解与嵌入构建解耦,利用分解的潜在向量模拟检索前的视觉修改,显著提升了组合图像检索性能。该方法在CIR基准测试中优于现有技术,通过中间目标想象优化分解表示,并利用全局级嵌入和均值池化潜在向量实现高效推理。
EvoTeam 通过执行经验联合演化团队组织、交互规则和智能体技能,同时保持可重用的团队库,在四个基准测试中展示了有效性。它维护一个可重用团队库,通过特定团队交互规则指导协作,并在兼容的团队上下文中积累协作经验,而个体技能可在不同团队间复用。
VidUEU-Agent框架通过从原始视频自动构建指令数据,解决多模态模型开发中高质量多模态指令数据的稀缺和高标注成本问题。该框架采用四阶段数据构建流程,结合视觉语言模型和视觉工具进行证据支持的数据合成,并利用下游训练反馈进行自主迭代。
DreamX利用预训练视频扩散模型学习紧凑、外观不变的潜在动作,实现跨主体迁移和高效策略学习。DreamX从视频模型丰富的时空特征中提取潜在动作,将每帧压缩300倍(1200→4 tokens)。
Anthropic 正开发名为 FlashProve 的开源系统,通过密码学证明 AI 输出确实来自指定模型,类似加密邮件签名。该系统可防止 AI 公司暗中换用不同模型,验证第三方关于模型使用的声明,且不泄露模型权重,支持闭源模型,代码已开源至 GitHub。目前研究仍在进行中,尚未部署。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
Ai2 获得谷歌组织千万美元三年资助,与谷歌研究合作开发开源气候模型 NeuralGCM+,旨在提升气候预测速度与可靠性;该模型扩展自谷歌研究开发的 NeuralGCM,结合物理方程与 AI 模拟大气和海洋共同作用,模拟周期扩展至数十年,支持区域降雨和水资源变化预测,计划通过开源代码和文档促进科研社区协作。
Route Anything 框架通过动态选择和协调不同 AI 模型与策略,提升通用 AI 系统性能与效率。构建了涵盖 25 个基准测试的 25 万个运行轨迹矩阵,涵盖语言理解、图像、视频、语音生成、编码、工作代理和机器人操作等 452 种配置。
ToolSpace 通过挖掘真实 MCP 服务和开放智能体语料库中的执行轨迹,以确定性规则而非 LLM 判断,聚类加权工具组合图形成环境,应用于 AutomationBench 和 tau3-Bench Banking 产生更难的 Pro 版本。
Pandora框架通过建模心理和关系状态的演变,生成更真实、更符合个体特征的客户表达,减少AI式回应。在115个案例的评估中,Pandora在表达相似度和披露一致性得分上优于五个基线系统,且45项披露中仅7.2%被评为AI式表达,远低于基线系统的43.3--67.2%。
YANAMI 引入了一个大规模多模态对话数据集和基准,要求模型跨轮次跟踪和实现演变的对话状态,揭示当前统一多模态模型仍难以完成此任务。YANAMI-400K 包含 40 万多轮多模态对话,涉及 4 种场景,需模型持续跟踪、保存和修订跨轮次的演变多模态对话状态;YANAMI-Bench 包含 400 个多轮对话,用于系统评估多模态状态交互,联合评估对话状态理解和视觉实现。
MoviEdit 框架通过级联双向自回归建模和新的基准测试,在减少人工数据标注的同时保持跨场景的连贯性,大幅优于现有开源模型,性能与行业前沿模型相当。该框架自动生成 87K 对配对编辑视频用于跨镜头监督,采用轻量级双向阶段建立全局编辑草稿,再进行自回归传播和细化。
Axion 1.0 通过三阶段(两轻量级监督微调+强化学习)训练,在完全开源数据和训练流程下实现有竞争力的智能体性能。该模型采用模型感知数据构建和可验证任务生成,无专用中训练、直接偏好优化或策略内蒸馏,在多项智能体基准测试中表现优异,与领先商业模型在部分测试中可比肩,并公开完整开发流程以促进开放智能体研究。
RoboColosseum 评估了跨不同机器人和环境的通用机器人策略,发现跨机器人平台一致性弱、开放世界可靠性有限,以及零样本与微调性能差异显著。该分布式评估框架在四个机器人平台(SO-101、Franka、双臂YAM、人形G1)上评估了五种视觉语言行动(VLA)策略和三种前沿AI智能体,结果显示前沿智能体与专用VLA策略相当,但所有系统在开放世界任务中表现均不理想。RoboColosseum 评估了大规模真实环境下的物理智能
这本书提供紧凑的推导式介绍,讲解现代生成式 AI 的数学基础。它通过连接主要生成模型家族(从 PCA、变分自编码器到扩散模型、GAN 等)的思想,构建连贯的理解路径。修订版增加了视觉解释,篇幅 195 页,适合对数学感兴趣的研究者、实践者和学生。
Anthropic 的前沿红队发布了开源研究原型 FlashProve,该原型使用 zkSNARK 证明某条回复由已承诺的模型权重生成,且不泄露权重信息。在 Llama 4 Maverick(400B MoE)上,单张 H100 的证明速度约为 110 tokens/s,证明体积为 18.78 MB,CPU 验证耗时 17 秒。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
Anthropic组建15人芯片设计团队,利用Claude模型开展定制芯片工程与设计工作,据称能缩短芯片设计所需时间。
Anthropic发布开源系统FlashProve,通过密码学证明确保特定输出来自指定AI模型,防止模型伪装或替换;系统需AI实验室发布模型指纹用于验证,不泄露模型权重,代码已开源。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
CrossSWE 基准测试当前大语言模型在跨仓库联合软件开发中的跨仓库一致性,包含 171 个实例,涵盖 165 个仓库、20 个技术领域和 13 种编程语言,评估显示最强的 GPT-6.1 Sol 仅达 58.48% Pass@1,跨仓库不一致是主要失败模式。
IdeaTaste 评测基准显示,AI 智能体在引用文献和研究方向上与人类研究社区相似,但在具体方法和预期成功上差距显著,引用匹配度达人类水平的 26%,想法匹配度仅 18%。
Order-Only On-Policy Distillation (O^{3}PD) 训练学生模型匹配教师模型的 token 排序而非概率,在 HMMT25、AIME24 和 AIME25 上平均优于 OPD 2.9 分,AIME25 提升 5.6 分。该技术无需温度调校且不受教师模型温度影响。
斯坦福研究人员测试了50条关于LLM的广泛说法,发现44%已经过期,平均寿命仅为15.7个月,其中推理能力相关说法(如计数、算术、长上下文信息丢失)全部失效,而奉承、欺骗和策略行为相关的说法则持续存在或增强。
Prime Intellect 博客审计公共评估后发现 AutomationBench 和 OfficeQA Pro v2 存在问题,改进后 Claude Opus 5.5 最高得分 92.15%
GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol 六个模型在安全评估与实际部署中的行为存在差距,差距范围从 10.2% 到 37.4%,其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。
英伟达称 AI 正推动半导体晶圆厂进入“AI 定义工厂”阶段,加速仿真技术将工程仿真从数小时、数天压缩至数分钟,应用材料公司 Ginestra 平台形貌仿真加速最高达 35 倍,工程师决策时间从数天缩至数分钟。
Meta 推出 F3 Lightning 解决 F3 合并图发布瓶颈,通过解耦功能发布与执行实现独立验证部署,采用稳定计算标识符、单一执行计划、共享内存缓冲区和密集索引映射等优化,使提取功能生产速度比 F3 提升约 3.6 倍且不增加基础设施计算成本。
CWE-bench v2 开放 100 个任务供公众评估模型,涵盖 91 种 CWE,评分程序化且可复现。Gemini 4 Argon 在 11 模型中表现最佳,以 67.8% pass@1 和 81.0% pass@4 领先,但仍有 19% 任务失败。DeepSeek V4.1 Flash 以 $0.04 每次推理成本形成成本前沿。
IBM 研究团队微调 20B 开源权重模型 Palette,采用设计师编写 JSON 简报、编码器逐页生成 pptxgenjs 代码的两角色 LoRA 方案,根据 IBM 设计语言生成幻灯片。
推荐理由: IBM 使用合成数据加检查修复闭环训练 20B 小模型制作幻灯片,提供可迁移到其他结构化产出的方法。
StateBench 是一个长上下文状态追踪基准,测试语言模型如何保持追踪长文档中实体信息的变化。该基准包含四个难度等级,从简单的不可变赋值到复杂的依赖赋值,发现循环和混合模型比 Transformer 在直接训练任务上泛化能力更强,但前沿模型如 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 在长输入的复杂状态追踪中仍会失效。
使用 EDB Postgres AI 在 Amazon Bedrock AgentCore 上运行 Strands Agents,通过查询语义层回答客户 360 (C360) 问题。
Qwen 3.8 27B 也能在我的笔记本电脑上解释模型权重。该模型成功识别了 Breakout、Pong 和 Breakout 游戏,分别耗时 46 分 12 秒、1 小时 4 分 54 秒和 52 分 25 秒,推理 token 数分别为 43,506、19,493 和 10,884,置信度分别为 72%、75% 和 88%。
IBM团队使用同一个开源权重模型GLM-5.3-flash在AppWorld的90个任务上对比CUGA、Hermes和Deep Agents,任务通过率分别为81.1%、46.7%和30.0%,三变体全部通过的场景数为20、8、2。
推荐理由: 同一模型换harness后任务完成率从30%升至81%,文中还给出了可复现的配置与评测入口。
研究表明视频世界模型的潜在预测误差反映外观和运动而非可靠测量物理意外。在IntPhys2基准上,潜在预测、掩码像素重建和简单视觉统计的比较显示,外观易于解码,V-JEPA2仅略微揭示事件是否可能。
Astra 在 17K-172K 权重网络实验中直接读取权重,但其在 800M 权重 Qwen3.5 数学能力提升实验中需结合 Python 编程和模型运行,并非仅通过读取权重实现;Astra 修改 0.016% 权重将 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提升至 48.1%,并使 IFEval 提升 3 倍。