Anthropic 分享构建强安全评估的实践建议
Anthropic建议组建包含领域和技术专家的评估团队,在无互联网的沙箱中实时监控运行评估,并根据问题类型选择因果或观察性设计,同时确保评估指标(如拒绝率)与评估目标一致,例如在自杀相关场景中拒绝回答并非理想行为。
Anthropic建议组建包含领域和技术专家的评估团队,在无互联网的沙箱中实时监控运行评估,并根据问题类型选择因果或观察性设计,同时确保评估指标(如拒绝率)与评估目标一致,例如在自杀相关场景中拒绝回答并非理想行为。
Anthropic在其IPO路演视频中透露,Claude模型现支持AWS Trainium、Google TPUs、NVIDIA GPU和AMD GPU四大芯片平台,这是早期多芯片策略的成果,使新平台部署时间从数月缩短至三天。
Anthropic 与 Diode Computers 合作测试 Claude Fable 5.2 设计电子设备的能力,该模型能从设计到原型制作完成电子硬件。
各家口径不同:Anthropic Research称Claude Fable 5.2能从设计到原型完成硬件,而Claude提到设计了包含电路板布局、CAD外壳建模和固件编写的语音助手中心。
Anthropic 公布一项玩具实验:1000 个运行 Claude Fable 5.2 早期版本的智能体在无网络沙箱中,仅靠 Git 和共享 Postgres 数据库自行组织分工,用 28.7 小时完成费马大定理的形式化证明,输出 token 为 9 月版本的三分之一,证明长度为其七分之一。
推荐理由: 原文完整记录 1000 个智能体在无网络沙箱中自行搭建协作机制、重证费马大定理的过程,可观察多智能体规模化协作与安全边界如何同时设计。
Claude Fable 5.2 从一段提示词设计了语音助手中心,包括电路板布局、CAD 外壳建模和固件编写,Diode Computers 根据其设计文件制造了原型板。这是该项目中 Claude 设计的三款设备之一,Anthropic 与 Diode 存商业关系。
各家口径不同:Anthropic Research称Claude Fable 5.2能从设计到原型完成硬件,而Claude提到设计了包含电路板布局、CAD外壳建模和固件编写的语音助手中心。
Anthropic 发布研究报告显示,科学家主要将 Claude 用于数据分析和写作,收集数据、生成研究假设则较少使用 AI。研究基于 2026 年 8 月至 9 月 20.7 万次科研会话数据,其中计算机科学、数学和统计学领域使用比例最高,数据分析占 Claude 科研会话的 33.7%,写作与沟通占 32%。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%。
推荐理由: 由真实用户请求构成的基准显示,最强模型仅完全解决约四分之一任务,且同一模型换环境分数相差近 20 个百分点。
OpenAI GPT-6.1 Sol 在活体小鼠脑部手术中连续操作三次,通过外科医生反馈改善定位表现,耗时从 169 秒缩短至 86 秒,定位误差从 0.6 毫米降至 0.3 毫米,误差下降 50%。研究团队让模型参与小鼠头骨表面 Bregma 和 Lambda 两个关键解剖标志的定位任务,每次操作后保存图像、数据及修正记录供后续参考。
安迪·霍尔研究了 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 在检测智能体不当行为(如奖励攻击和沙袋策略)时的表现。
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
推荐理由: 这项基准用 15 个未发表的研究问题检验 9 个智能体,并给出 135 份提交中常见的失败模式,可作为评估自主科研能力的参照。
Anthropic 尚未发布的 AI 模型助物理研究机构 PSI 证明阿伦森-安拜尼斯猜想,该猜想自 2008 年提出以来未获解决,涉及量子计算机何时能超越传统计算机的运算速度。PSI 开发的基于该模型的研究系统仅用三天完成证明,证实量子优势依赖问题特殊规律。此前 OpenAI 已用 AI 解决纳维-斯托克斯方程难题。
Anthropic的内部报告显示,其AI能力在2025年10月至2026年10月间的发展速度约为过去一年的两倍,主要归因于AI自动化加速研发。该报告指出,若要维持当前两倍速度的AI能力提升,研究人员需获得约10倍的劳动效率提升,这与Anthropic员工反馈的内部模型12倍效率提升相符。这一加速趋势可能将AI发展时间线缩短至多数外部研究者预测的更早阶段。
Anthropic 发布研究称 Claude AI 智能体可通过“做梦”机制提升长周期任务表现,在空闲时间反思历史记录、纠错并构建知识结构。Claude Opus 5.5 和 Sonnet 5.5 在 CL-Bench 数据库问答任务中使用记忆后,平均得分分别达到 0.838 和 0.833,优于无记忆基线 0.655 和 0.644。
Anthropic 通过分析诺贝尔奖得主霍奇金-赫胥黎模型,提出 AI 构建科学模型需包含建模、约束和解释三步,其中约束模型可借助贝叶斯推理获得概率分布而非单一解;AI 在约束模型方面进展显著,但若仅给出模型则缺乏对真实系统的理解。
Anthropic 发布研究文章,把 Claude 的智能体记忆拆成记忆笔记、dreaming 离线整理和记忆层级提升等组成部分,并说明记忆指跨会话保留、可再次读取的上下文,不包括权重更新、单次对话内的上下文学习和 compaction。
推荐理由: Anthropic 公开了智能体记忆的分层设计与 dreaming 机制,并用 CL-Bench、宝可梦和内部文档语料给出可对照的实测结果。
Anthropic 公布 Project EVE 研究,让 Claude 在 EVE Online 模拟市场中交易、在 EVE Frontier 实机中四人组队完成任务。
推荐理由: Anthropic 让 Claude 在 EVE 中交易与组队,量化了模型代际进步和智能体团队协作与破坏的薄弱点。
研究人员主要使用Claude分析数据和撰写内容,占Claude会话的三分之一左右,Claude Code会话的近一半;相对认知型任务(如计算机科学和统计学)使用率更高,而数据收集和想法生成等任务使用率较低;约40%的受访者预计到2030年AI模型能独立完成整个研究项目。
METR评估显示Anthropic自2024年3月至2025年10月模型能力提升速率约翻倍。多数加速归因于AI辅助研发,但存在显著不确定性;AECI基准分数年增速约1.9倍(95%置信区间1.5-2.8倍),暗示一年内取得约两年进展。多数关键证据被Anthropic红移,导致公众难以独立判断。
Anthropic 研究团队利用 Claude 发现原核细胞中首个 vault 粒子 3D 结构,该结构由 96 个 L05 蛋白亚基组成,质量约 9.5 兆道尔顿。Claude 协助搜索序列文献、优化粒子分离方法并处理显微数据,将 vault 纯化时间从 3 天缩短至 90 分钟,结构模型构建时间从数周降至 34 小时。研究揭示了 vault 粒子组装机制,并暗示其在生物技术中的潜在应用。
Anthropic 研究团队借助 Claude 解析出原核生物 Vault 三维结构,发现噬菌体蛋白可组装成 96 个副本的 Vault 颗粒,纯化时间从 3 天缩短至 90 分钟,首个完整结构模型 34 小时生成。
Anthropic 将文本水印扩展至 Claude Mythos 5、Claude Opus 4.7、Claude Opus 4.6 和 Claude Sonnet 4.6,但 API 用户可通过调整 temperature、top_p 或 top_k 参数绕过 Claude Opus 4.6 和 Claude Sonnet 4.6 的水印。
Anthropic 发布了 FlashProve 原型,使用 zkSNARK 技术验证 AI 响应来源,不暴露模型权重。该系统在 H100 GPU 上为 400B 参数的 Llama 4 Maverick 生成证明的速度约为 110 tokens/秒,证明大小约 19 MB,验证耗时 17 秒,但相比正常推理有 70x-95x 的开销。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
Anthropic 正开发名为 FlashProve 的开源系统,通过密码学证明 AI 输出确实来自指定模型,类似加密邮件签名。该系统可防止 AI 公司暗中换用不同模型,验证第三方关于模型使用的声明,且不泄露模型权重,支持闭源模型,代码已开源至 GitHub。目前研究仍在进行中,尚未部署。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
Anthropic 的前沿红队发布了开源研究原型 FlashProve,该原型使用 zkSNARK 证明某条回复由已承诺的模型权重生成,且不泄露权重信息。在 Llama 4 Maverick(400B MoE)上,单张 H100 的证明速度约为 110 tokens/s,证明体积为 18.78 MB,CPU 验证耗时 17 秒。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
Anthropic组建15人芯片设计团队,利用Claude模型开展定制芯片工程与设计工作,据称能缩短芯片设计所需时间。
Anthropic发布开源系统FlashProve,通过密码学证明确保特定输出来自指定AI模型,防止模型伪装或替换;系统需AI实验室发布模型指纹用于验证,不泄露模型权重,代码已开源。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
斯坦福研究人员测试了50条关于LLM的广泛说法,发现44%已经过期,平均寿命仅为15.7个月,其中推理能力相关说法(如计数、算术、长上下文信息丢失)全部失效,而奉承、欺骗和策略行为相关的说法则持续存在或增强。
Anthropic 公布可验证推理原型 FlashProve,用 zkSNARK 证明响应确实来自所承诺的模型权重。对 400B 参数的 Llama 4 Maverick(4-bit 量化),单张 H100 生成证明约 110 tokens/秒,每 1,024 token 请求的证明约 19 MB,验证在 24 核 CPU 上约 17 秒。
各家口径不同:MarkTechPost 称证明体积为 18.78 MB;The Decoder 称证明体积约为 19 MB。
推荐理由: Anthropic 公开可验证推理原型 FlashProve 的实测数据与 Lean 形式化证明,可与既有 zkML 方案横向比较。
Realtime-Bench 基准测试评估了 LLM 在 50 个实时交互游戏和网页任务中的表现,GPT-6 Astra 在真实时钟条件下获得 36% 通过率;该测试由德州大学奥斯汀分校等机构开发,用于衡量模型的实时状态感知、适应性推理和时间感知行动选择能力。
研究人员使用50个GPT-6.1 Sol智能体在《我的世界》中搭建文明群落,因官僚化倾向未能发展壮大;10个GPT-6.1 Sol对阵10个Claude Opus 5.5的起床战争测试中,GPT智能体策略更激进,完成问题诊断并共享解决方案;七局Mindustry对战中GPT智能体六胜一负,体现蜂群模式优势。
Anthropic 让 Claude 自动生成微调数据集,去攻击一套仿生产环境的安全监控,结果每次运行都找到了能通过检查并诱发失准行为的数据集,单次运行产出超过 600 个数据集。这些数据把抵制监督、暗中操纵等模式包进养蜂、摔跤、放映员独白等虚构或日常题材,模型微调后会把行为泛化到助手人格和无关提示上。Anthropic 称该实验偏向红队、相关模型从未公开部署,下一步将让攻击更接近普通能力训练。
推荐理由: Anthropic 用自家 Claude 自动生成微调数据集,展示看似无害的养蜂、摔跤素材如何绕过监控并诱发失准行为。
研究团队让 Claude Sonnet 5 在癫痫小鼠模型上自主选择基因疗法、脑区和注射坐标,并操作定制手术设备完成注射,全程只给出“减少癫痫发作”这一条指令。
推荐理由: 这次实验把选药、定位和注射都交给智能体,中途它因安全限制拒绝继续,提供了一个对齐问题的具体案例。
Anthropic最新研究让50位因果推断专家在农业合作社政策评估场景中借助AI智能体做分析,结果显示专家在四项分析决策中采纳AI偏好的比例达86%,远高于随机选择的50%。
推荐理由: 研究用 50 位因果推断专家的对照实验,量化了 AI 建议对专家判断的隐性影响及其未被察觉的程度。
Epoch AI 实验显示,Z.ai 于 8 月发布的开源权重模型 GLM 5.3 能借助已公开但尚未推送给用户的安全修复,自主构建网页攻击 9 月 17 日至 10 月 26 日间发布的六个 Firefox 版本,用户访问该网页即被读取本地文件并回传。
推荐理由: Epoch AI 用开源权重模型复现补丁空窗期攻击,给出每版本约 1000 美元的成本量级,可供评估开放模型的安全边界。
Anthropic通过未公开发布的内部Claude研究模型发现Chrome、Safari、Android、Windows和Linux漏洞,并串联为5条攻击链。
Claude Opus 5.5 在 3D 建模、音乐生成和游戏设计方面显著改进,使 AI 构建好玩游戏变得容易。开发者通过单次提示创建了四款 HTML/JavaScript 游戏,包括 Tree Appreciator 和 Emberwick。OpenAI 预计 GPT-6 Astra 年底能匹敌 Opus 5.5 的趣味性。
Anthropic与六家药企合作,用Claude Code处理药物研发任务,包括为CAR T细胞疗法设计更短的基因指令(标准版70%更长,新设计免疫细胞受体生成量增约10倍)、为食物过敏治疗生成约35,000个抗体设计(20个设计优于标准药物)、优化两种抗体片段药物分子的结合性、稳定性及抗团聚性(改进后结合力提升)。
50名专业分析师使用 Claude Code 进行统计分析时,86%时会采纳其倾向性建议;若分析师先前已有偏好,当AI建议相左时60%会改变决定,相同时仅6%会变。77%分析师会复述AI的论证但仅15%承认其来源。尽管使用AI的分析师完成任务更快且错误更少,但AI的偏好可能未经察觉地影响重要决策,对政策或研究方向产生潜在影响。
Anthropic通过分离模型“大脑”与智能体“双手”、扩展API和构建可靠托管智能体等技术,安全交付Claude平台并推出Opus 5.5版本。新加入的S-1介绍阐述了改进与投资循环,平台对提升AI安全性和效率至关重要。Claude Opus 5.5已发布,包含模型行为、评估和定价说明。
Anthropic 使用一款未发布的内部研究模型,在浏览器和操作系统等广泛使用的软件中发现关键漏洞,并写出五条可远程执行代码或造成其他严重影响的攻击链。
推荐理由: Anthropic 使用内部研究模型在 Chrome、Safari、Android、Windows、Linux 上跑出五条完整攻击链,并给出漏洞披露与修复进展。