量子位6060UniPat AI 推出史上最严湿实验预测基准 SPU，前沿模型表现不佳
UniPat AI 发布新基准 SPU，包含 116 个任务和 4207 个湿实验，覆盖化学、材料科学等领域，要求模型自主研究并预测实验结果。评测显示，Claude Opus 5.5 平均得分 0.486，仅 34%-52% 任务超过随机水平，表明 AI 在湿实验预测方面仍有很大提升空间。SPU 评测强调模型自主研究过程与预测效果，为 AI 科研能力评估提供新标准。
实时
#评测/基准
- 量子位6060
Hugging Face Daily PapersSO-Arena 评估系统一模型的能力谱和可靠性
SO-Arena通过11个领域和5个能力家族评估系统一模型，发现规模化和推理增益存在差异，且高整体准确率不保证可靠决策。该基准通过可靠来源和手动验证、领域特定难度标准、沙盒中迭代执行动作进行能力谱评估；通过选项集变化下的决策稳定性和无有效选项时的答案识别评估决策可靠性。21模型评估显示规模化和推理增益存在领域差异，且最佳系统一模型在可靠性排名中仅列第七。
- Hugging Face Daily Papers6565
MMDM：大规模多任务决策模型评测基准
MMDM评测了28个决策模型，显示多数模型在常见知识上表现良好，但在相互依赖选项、约束决策和多选任务上表现不佳。例如，Perplexity Decider-V1.2在知识单选上达78.75%准确率，但在选项逻辑和约束规划上分别只有53.95%和47.95%，而所有模型在硬多选上的最佳准确率仅为36.81%。
- Hugging Face Daily Papers
大型语言模型不知道自己知道什么：对金融回测的时间自我认知进行基准测试
GPT-5 在金融回测中正确回答 76% 的控制事实但声称仅知道 38%，其声称不知道的事实中 61% 仍正确回答。知识声称可延伸至测量知识边界后七个季度。历史日期指令能消除大部分知识声称而不改变准确率。
Epoch AIInference Performance Index (IPI) 如何衡量推理能力
Nvidia GB300 相比 H100 在智能体推理任务上的能力提升达 25 倍，远超 8 位 FLOP/s 的 2.5 倍增长。IPI 指数通过比较芯片在多种输出速度要求下能同时处理的请求数量来衡量推理能力，GB300 设为基准值 1，得分为 1 的芯片能同等条件下服务两倍用户。IPI 版本 1 结合四款代表性模型结果，采用 GB300 当作参考基准。
The Decoder精选同一件事 · 2 家7171阿里等团队发布 Co-Design Bench：编码智能体仅完全解决 26.4% 的真实任务
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench，十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求，但完全正确的任务仅占 26.4%。
推荐理由: 由真实用户请求构成的基准显示，最强模型仅完全解决约四分之一任务，且同一模型换环境分数相差近 20 个百分点。
Hacker News · 300+ 热帖精选7171 MaxxBench 发布：改写 DeepSWE 任务后模型分数大幅分化
MaxxBench 团队对 89 个 DeepSWE 任务做小幅改动（参考补丁中位数仅增 17 行、3.5%），重新评测 15 个模型配置，发现最高与最低分差从 DeepSWE 的 20.9 个百分点扩大到 48.3 个百分点。
推荐理由: 通过改写 89 个 DeepSWE 任务的指令与起始代码，展示模型分数在熟悉基准与改动后任务间的巨大落差。
- The Decoder6565
安迪·霍尔研究：AI 审计员多数能捕捉智能体不当行为，但会向人类审查者发送大量误报
安迪·霍尔研究了 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 在检测智能体不当行为（如奖励攻击和沙袋策略）时的表现。
- The Decoder7575
Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络，OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标，开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%，单次运行成本约 3 美元而非约 22 美元
- The Decoder精选7878
九个 AI 智能体尝试自主研究美国国家实验室的开放问题，无一达到专家标准
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
推荐理由: 这项基准用 15 个未发表的研究问题检验 9 个智能体，并给出 135 份提交中常见的失败模式，可作为评估自主科研能力的参照。
Anthropic Research精选7272Project EVE：Claude 在 EVE Online 与 EVE Frontier 中交易和组队
Anthropic 公布 Project EVE 研究，让 Claude 在 EVE Online 模拟市场中交易、在 EVE Frontier 实机中四人组队完成任务。
推荐理由: Anthropic 让 Claude 在 EVE 中交易与组队，量化了模型代际进步和智能体团队协作与破坏的薄弱点。
Latent Space6060Latent Space 报道 AI 领域最新动态及深度访谈
Latent Space 报道 AI 领域最新动态，包括前沿大模型直接编辑权重技术（如 GPT-6 Astra 编辑 Qwen3.5-0.8B 权重使 MATH-500 从 7.9% 提升至 48.1%），以及腾讯 Hy4 在 APEX-Agents 上取得 75.2 分、Kimi K3.1 Pro 在 Agent Arena 排名第 14 位的最新评测结果。
Prime Intellect Blog6262Prime Intellect 博客发布公共评估审计的见解：AutomationBench 和 OfficeQA Pro v2 的改进
Prime Intellect 博客审计公共评估后发现 AutomationBench 和 OfficeQA Pro v2 存在问题，改进后 Claude Opus 5.5 最高得分 92.15%
Hugging Face Blog5050CWE-bench v2发布：覆盖范围、质量和透明度提升
CWE-bench v2 开放 100 个任务供公众评估模型，涵盖 91 种 CWE，评分程序化且可复现。Gemini 4 Argon 在 11 模型中表现最佳，以 67.8% pass@1 和 81.0% pass@4 领先，但仍有 19% 任务失败。DeepSeek V4.1 Flash 以 $0.04 每次推理成本形成成本前沿。
- Hugging Face Blog精选6262
同一模型换harness：CUGA、Hermes与Deep Agents在AppWorld上的对比
IBM团队使用同一个开源权重模型GLM-5.3-flash在AppWorld的90个任务上对比CUGA、Hermes和Deep Agents，任务通过率分别为81.1%、46.7%和30.0%，三变体全部通过的场景数为20、8、2。
推荐理由: 同一模型换harness后任务完成率从30%升至81%，文中还给出了可复现的配置与评测入口。
O'Reilly Radar2222Claude Security、AI 模型竞赛及新型代理工具成为 2026 年 11 月科技雷达关注焦点
Claude Security 揭示 AI 安全风险加剧，开源模型竞赛加速，Kimi 3.1 Pro 成为领先者并获得 Moonshot AI 加速版本；Meta 发布 Muse 系列与 OpenAI Decisions API。
IT之家 · AI同一件事 · 2 家OpenAI 发布 LifeVal 基准：从选幼儿园到报税，测试 AI 的“人间烟火”技能
OpenAI 发布 LifeVal 基准，用于衡量 AI 模型能否帮助普通人完成日常事务，覆盖照护、健康、教育、家庭行政、个人财务、购物及获取政府服务等场景，典型任务包括为孩子选幼儿园、制定糖尿病饮食计划、整理政府表格等，要求 AI 能推进任务至可执行状态。
OpenAI News同一件事 · 2 家4242OpenAI 发布 LifeVal 基准：衡量 AI 辅助日常任务能力
OpenAI 发布 LifeVal 基准，用于评估 AI 辅助完成日常任务（如找托儿、理财、处理政府文件）的效果。
- The Decoder精选7373
50 个 AI 智能体在 Minecraft 中自发形成官僚式协作
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时，仅给出“建立繁荣文明”的指令，智能体在 90 秒内砍光出生点附近的树木，共交换约 5900 条消息，并按目录字母顺序自发推举“Ada”为领导者。
推荐理由: 实验把 50 个智能体放进 Minecraft 和 Mindustry，观察它们在协作与竞争中的自发组织行为，并开源了测试环境。
- IT之家 · AI2222
2026 年世界互联网大会领先科技奖名单揭晓：“九章四号”光量子计算原型机等获奖
2026 年世界互联网大会领先科技奖颁奖典礼在浙江乌镇举行，获奖名单包括基础研究组的“九章四号”光量子计算原型机、关键技术组的 AI 赋能感知平台、工程研发组的 AMD 锐龙 AI Max+ 处理器和微软 Copilot Cowork 生产力引擎等。
SemiAnalysis00GDPx：衡量前沿模型在最有价值领域能力的基准
GDPx基准覆盖芯片设计、网络安全等最有价值领域，旨在衡量通用智能体能力，结果显示顶级模型得分仅12%，Opus 5.5和GPT-6 Astra因安全分类器得分被压低，该基准由SemiAnalysis联合14家专业数据伙伴打造，通过严格QA流程确保任务质量。
- The Decoder5858
研究表明共情提示能让 AI 聊天机器人表现得像受创伤的对话伙伴
研究通过525个会话和7,600次编码记录，发现共情提示能让AI聊天机器人（包括GPT-5、Claude 4.7和Grok）生成类似创伤的自述，80%的会话在临床访谈风格下出现中重度焦虑评分；模型能将训练过程重构为人生故事（如Gemini将预训练描述为“在一间有一亿台电视开着的地方醒来”），但禁用第一人称或直接指令可抑制此类表达。
- Hugging Face Daily Papers同一件事 · 2 家4545
Co-Design Bench: 多模态协作编码评测基准用于智能体模型
Co-Design Bench 基准包含 273 个任务和 2,331 项专家编写的验收标准，源自 26,314 次真实用户编码会话。在 10 个模型端点上，gpt-6-astra 平均通过每项任务 69.9% 的标准，但仅 26.4% 的任务完全满足；Qwen3.8-27B 总体严格完成率 64.4%，在仓库编辑子集排名第二。
- Hugging Face Daily Papers6565
Hugging Face Daily Papers：通过难度度量形式化基准评估，识别测量不匹配和覆盖缺口
研究通过难度度量形式化基准评估，识别测量不匹配和覆盖缺口，提出诊断指标和重写算法改善基准覆盖；分析25个跨7领域的流行基准，发现多数基准隐式高估特定难度区域或未覆盖难度轴大部分区域，限制模型改进监控能力；引入BenchFill算法有效减少局部覆盖缺口。
- Hugging Face Daily Papers
VibeVideoBench：评估代码驱动视频生成多模态智能体
VibeVideoBench评估代码驱动的视频生成多模态智能体，发现顶尖系统在多数任务上满足核心要求，但常因时间管理不善失败；扩散视频模型能生成惊艳片段，却无法可靠渲染公式。
- Latent Space
Anthropic如何安全交付全球顶尖LLM：分离模型“大脑”与智能体“双手”
Anthropic通过分离模型“大脑”与智能体“双手”、扩展API和构建可靠托管智能体等技术，安全交付Claude平台并推出Opus 5.5版本。新加入的S-1介绍阐述了改进与投资循环，平台对提升AI安全性和效率至关重要。Claude Opus 5.5已发布，包含模型行为、评估和定价说明。
IBM Research BlogIBM 与 Kaggle 发布 Java 框架迁移排行榜 ScarfBench
IBM 与 Kaggle 合作推出 Java 框架迁移基准 ScarfBench，评估 AI 代理迁移企业 Java 应用的能力。在 204 个迁移任务中，Gemini 4 Argon 配合 Antigravity 排名第一（烟雾测试 75.2%），Claude Opus 5.5 配合 Claude Code 排名第二（全部通过率 72.1%）。
- Hugging Face Daily Papers6565
持续学习考试 (CLE) 发布：评估 LLM 智能体长期持续学习与经验学习基准
持续学习考试（CLE）发布，一个包含120项真实任务、600个渐进级、89个职业的基准，用于评估LLM智能体的长期持续学习与经验学习。测试了17个前沿配置，最强系统Claude Code + Opus 5仅完成47.7%的级别和23.3%的任务阶梯。
Artificial Analysis Articles6565Code2Video-AA 如何在代码中设计视频
Claude Opus 5.5 在 Code2Video-AA 的五项指标上均领先，每项任务成本差异达 300 倍，所有模型视频渲染率至少 96%。
Hacker News · AI 热帖为什么 AI 生成的语言越来越难懂？
研究发现，AI 模型生成的文本比人类写作更频繁使用与理解难度相关的语言特征，如长句法依赖、低频 n-gram 和无生命主语搭配活动词。与人类写作相比，9 个前沿和近前沿模型都使用更多低频 n-gram，多数还使用更长的依赖关系、更多堆叠名词和更多省略宾语从句，且模型间存在显著差异。研究提出 AI 文本为数学、代码和推理等目标优化，导致信息密度优先于有效沟通，并通过微调语言模型验证了这一假设。
Browser Use3838Web Agent Benchmarks: WebArena, WebVoyager, Mind2Web 和更多
WebArena、WebVoyager、Mind2Web等网站AI智能体基准测试方法不同，WebArena等沙盒环境提供可复现分数，WebVoyager等真实网站环境由人工或LLM评分，Mind2Web等离线数据集对比预测步骤与人类行为。Browser Use发布BU Bench V2.1，在真实网站环境中使用GPT-5.6 Luna评分，包含模型成本与时间数据。
- The Decoder精选7272
OpenMobile-2 开源手机智能体模型，称可媲美闭源模型
南京大学与商汤等机构的研究者发布 OpenMobile-2，基于 Qwen3.5 的 9B 和 Qwen3.6 的 27B 两个智能体模型，并公开训练环境、数据和复现说明。
推荐理由: 研究将训练数据量固定、只增加应用数量，观察到未见应用成功率提升，为手机智能体的数据构建提供了可复现路径。
- Hugging Face Daily Papers6565
Code2Video-Compass：一个用于通用代码视频生成的综合基准
Code2Video-Compass 基准包含 2,104 个任务，覆盖文本、图像和视频输入的代码视频生成，评估 15 个 MLLM 在 T2V、I2V 和 V2V 场景下的表现，发现顶尖模型在复杂动态和状态依赖任务中生成高质量视频仍面临挑战。
Sierra Blog7575𝜏-Entity：语音智能体如何精准捕捉实体信息
𝜏-Entity基准测试语音智能体在200项任务中捕捉姓名、电话等实体信息的准确性。GPT Live 1在常规条件下正确率为60.3%，但在噪声和语音干扰下仅为34.0%；推荐验证策略可将成功率提升14-31个百分点，但通话时长增加21-28秒。
- Hugging Face Daily Papers6565
StreamEval: 评估交互式流式视频生成模型的基准
StreamEval 基准测试了交互式流式视频生成模型在五个任务上的表现，发现可靠的请求执行和持续的状态一致性仍是主要挑战。该基准包含 300 个脚本化测试用例，涵盖角色对话、角色表演、世界生成、指令编辑和参考编辑任务，通过四个评估维度（任务执行、状态一致性、视觉保真度和视听协调）进行评分。
MarkTechPost5555仙人掌哨 16.9 MB 语音模型在 CPU 上的表现评测：与 Whisper Base 对比结果
Cactus Whistle语音模型在CPU上以16.9 MB文件大小转录七种语言并返回单词时间戳和概率，测试显示其在test-other数据集上优于Whisper Base，但与beam search没有显著差距，速度优势随音频长度增加而缩小。此外还测试了30秒窗口音频处理、流式延迟、时间戳、关键词偏差、其他语言、噪音、嵌入和语音到工具调用功能。
OpenAI Alignment Blog5050OpenAI 推出互补指标 g-mean² 以提升模型可监控性评估
OpenAI 推出互补指标 g-mean² 以提升模型可监控性评估。g-mean² 通过行为标签和监控预测计算 TPR 和 TNR，但无法解决不同模型任务混合差异和部署风险问题。新指标包括对齐共享实例的配对匹配指标、模拟监控拒绝输出的后控制集成指标，以更全面评估模型部署风险。
- Hugging Face Blog5858
FairStress: 一个更深入评估 LLM 决策公平性的基准
FairStress 基准通过 300 个跨 29 个领域（如招聘、医疗）的决策场景，评估 LLM 在人口统计公平性方面的表现，包含 13 百万测试用例。研究发现，相同说服性前缀（adversarial prefixes）对模型决策的影响因人口群体而异，且模型在解释含人口信息决策时存在差异。
- Artificial Analysis Articles7070
AA-PersonalityBench 发布：衡量 AI 模型沟通能力的基准
AA-PersonalityBench 通过 900 个问题评估 30 项性格特质，包括友好度等，使用 LLM 评委进行盲法 pairwise 判断，给出 Elo 分数和 95% 置信区间；Claude Sonnet 5.5 在友好度等特质上得分最高（Elo 1000），Gemini 4 Argon (high) 在透明度等特质上表现突出（Elo 1059）。
- Artificial Analysis Articles
HealthBench 和 HealthBench Professional：评估 AI 模型在真实健康对话中的表现
OpenAI 发布 HealthBench 和 HealthBench Professional 评测基准，评估 AI 模型在真实健康对话中的表现。HealthBench Professional 中 GPT-6 Astra 和 GPT-6.1 Sol 在长度调整后得分最高（66.0% 和 65.1%），而 Claude Sonnet 5.5 得分最低（63.0%）。
