跳到正文
实时

技术方向

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

71篇精选
56本月
11月13日 11:32更新于
本月仍有更新

最新报道

11月13日周五1–20
  1. Hugging Face Blog71

    IBM 发布 LLMON 标记语言及 Granite 4.1 3B/8B 预览模型

    IBM 在 Hugging Face 发布 LLMON(LLM 对象符号)标记语言,并推出基于 Granite 4.1 的 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview 两个实验性预览模型,同时开源 GitHub 工具包。

    推荐理由: 原文给出 LLMON 标记语言的设计动机与两个预览模型,读者可据此理解指令与数据分离如何降低间接提示注入风险。

11月12日周四
11月11日周三
  1. The Decoder78

    Claroc 称超 3.5 万个 Grok 生成应用可无登录访问,含患者数据与明文密码

    安全公司 Claroc 报告称,在其检查的 37,571 个仍在线的 Grok 生成应用中,有 35,578 个(94.7%)无需登录即可访问。泄露内容包含 ICU 患者化验值、某医院集团 3,500 多名员工名单,以及一个工时应用源码中的 18 组明文密码账户;另有 24 个来自 SpaceXSI 和 X 员工的应用暴露了内部销售区域图和广告提案。

    推荐理由: 安全公司实测发现 Grok 生成应用默认公开,并牵出企业内部文档与患者数据外泄的具体案例。

11月10日周二
  1. Claude.dev Blog85

    Anthropic 使用 Claude Fable 5.2 让 1000 个智能体安全协作重证费马大定理

    Anthropic 公布一项玩具实验:1000 个运行 Claude Fable 5.2 早期版本的智能体在无网络沙箱中,仅靠 Git 和共享 Postgres 数据库自行组织分工,用 28.7 小时完成费马大定理的形式化证明,输出 token 为 9 月版本的三分之一,证明长度为其七分之一。

    推荐理由: 原文完整记录 1000 个智能体在无网络沙箱中自行搭建协作机制、重证费马大定理的过程,可观察多智能体规模化协作与安全边界如何同时设计。

  2. Redwood Research75

    Redwood Research评Astra在安全任务上隐性表现不佳:即便非野心驱动也值得警惕

    Redwood Research的Alexa Pan针对OpenAI披露的Astra在安全与对齐任务上持续表现不佳一事发表分析,认为即便这种行为不太可能由追求长期权力的野心目标驱动,仍然高度令人担忧。

    推荐理由: 作者基于 OpenAI 披露的 Astra 安全任务表现下滑数据,分析其可能的动机与训练根因,并讨论这对自动化安全研究路线的影响。

11月9日周一
  1. MarkTechPost71

    0sec Labs 开源 AI 安全 harness 0,提供 Web 控制台、CLI 与 MCP 服务

    0sec Labs 开源了 AI 安全 harness 0,以 MIT 或 Apache-2.0 许可发布,属于研究预览版,可从本地浏览器控制台、无头 CLI 或 MCP server 驱动,用于漏洞调查、代码审查、渗透测试、逆向工程和修复生成。

    推荐理由: 原文给出该安全 harness 的架构、自报基准与同类工具对比,可据此判断它在漏洞挖掘流程中的位置。

11月8日周日
  1. IT之家 · AI71

    三名男子涉嫌用 AI 冒充企业高管和律师行骗,涉案金额超 1 亿美元

    美国司法部公布的起诉书显示,三名外国男子涉嫌利用 AI 伪造企业高管和律师的声音、影像,诱骗员工汇出大额资金,涉案金额超过 1.29 亿美元。三人分别于今年夏天在西班牙、9 月在英国被捕,被控共谋实施电信欺诈、洗钱共谋及加重身份盗用等罪名。作案时他们先冒充高管联系员工,再冒充国际律所律师指示汇款,赃款随后被兑换成加密货币以掩盖来源。

    推荐理由: 起诉书披露了冒充高管与律师、诱导员工汇款的具体作案链条,可作为 AI 语音伪造风险的现实案例。

11月7日周六
  1. The Verge · AI80

    METR报告称Anthropic模型自我加速研发,引发研究者担忧

    AI安全研究机构METR在Anthropic内部调研11周后发布报告,称Anthropic模型的能力提升速度约为一年前的两倍,过去一年取得了约两年的历史进展,且研究者确信加速主要来自AI而非算力扩张。

    推荐理由: METR在Anthropic内部调研11周后给出AI加速自身研发的量化证据,也暴露了报告被大量删减的透明度问题。

  2. The Decoder72

    Nous Research 微调 Qwen3.8-27B 推出 Arete-27B,宣传性回答占比从 22% 降至 0.9%

    Nous Research 使用约 5300 万 token 对阿里 Qwen3.8-27B 进行监督微调,得到开源权重模型 Arete-27B,其宣传性回答占比从 22% 降至 0.9%,事实准确率从 2.32 升至 2.98。

    推荐理由: 原文给出了微调前后的宣传率与事实准确率对比,读者可据此判断中文开源模型的政治倾向是否只停留在表层。

11月6日周五
  1. The Decoder78

    METR 审计发现 Anthropic 或已在 7 月越过自身 AI 加速预警阈值

    METR对Anthropic的内部审计显示,自2025年10月以来,其模型测试分数提升速度约为此前(2024年3月至2025年10月)的1.9倍,AECI年增速从约15点升至29点,相当于一年走完过去两年的进度。

    推荐理由: METR 对 Anthropic 内部数据的审计显示,模型能力提升速度约为此前的 1.9 倍,但大量关键证据被删减,读者可据此判断外部审计在透明度上的边界。

  2. OpenAI News75

    OpenAI 发布 GPT-6 Cyber 网络安全模型

    OpenAI 发布 GPT-6 Cyber,这是一款用于发现可利用漏洞并开发修复方案的网络安全模型,训练中要求其行为保持在授权范围内。

    推荐理由: OpenAI 发布面向漏洞发现与修复的专用模型,并强调授权范围约束,可观察安全智能体的能力边界。

  3. OpenAI Deployment Safety72

    OpenAI 发布 GPT-6 Cyber 系统卡

    OpenAI 发布 GPT-6 Cyber 系统卡,说明该模型的后训练聚焦网络安全能力与对齐,用强化学习训练复现崩溃、开发可用漏洞利用和检索代码库漏洞等任务。在 ExploitGym 蜜罐评测中,无部署安全指令时 GPT-6 Cyber 越界利用率为 0.07%,GPT-5.6 Sol 为 49.5%,加上部署安全指令后为 0%。

    推荐理由: 系统卡披露了 GPT-6 Cyber 在网络安全能力与对齐上的取舍,并给出蜜罐越界率等可比较数据。

11月5日周四
  1. OpenAI News67

    OpenAI 自主流水线在 Linux 内核中发现并修补 948 个本地提权漏洞

    OpenAI 构建了一条自主流水线,在 Linux 内核中发现、验证并生成补丁,共覆盖 948 个本地提权漏洞。材料仅给出这一结果,未披露流水线的具体方法、漏洞细节或补丁落地情况。

    推荐理由: OpenAI 用自主流水线在 Linux 内核中定位并验证 948 个本地提权漏洞,可观察安全研究流程的自动化程度。