跳到正文
实时
#安全/对齐
10月18日周日
10月17日周六
  1. ChinaTalk

    Saif Khan 中国Talk首秀：DUV控制为何成为美国制衡AI的关键

    Saif Khan 在中国Talk首次分享，其新创立的科技与治国策智库（CTS）发布的报告预测，若美国停止半导体设备出口，到2030年代中期，中国AI芯片产量可能仅剩美国的1/100，使DUV控制成为美国影响AI平衡的最关键手段；CTS致力于填补AI政策生态中缺乏前瞻性研究的空白，通过理解AI供应链的物理现实来识别模式并预测未来。

  4. AWS Machine Learning Blog

    Amazon Bedrock AgentCore 构建可信赖 AI 智能体：生产就绪评估框架

    Amazon Bedrock AgentCore 评估框架帮助 AWS 内部销售团队用多智能体系统处理业务问题，发现智能体在演示和实际生产中表现差异；通过 Amazon Bedrock Guardrails、Amazon CloudWatch 等服务，该框架在发布前和持续生产中验证答案准确性，将错误溯源至数据、提示词或代码，避免因智能体回答看似自信却错误导致用户信任破裂。

10月16日周五
  2. ChinaTalk

    AntLing 产品负责人 Richard Bian 认为 AGI 是“必然的”。

    AntLing 产品负责人 Richard Bian 认为 AGI 是“必然的”，当前 AGI 发展如同 15 世纪大航海，是探索未知智能的过程。他认为 Hugging Face 被 OpenAI 研究智能体攻击事件是必然发现而非灾难，开放模型（如 Z.ai）在事件中发挥作用证明开放与封闭模型可协同，这一事件及解决方案是人类进步的积极信号。

  3. Anthropic Research

    Claude 揭示 ECDSA 曲线起源

    Claude 在不到半小时内发现 NIST P-192、P-224、P-256、P-384 和 P-521 曲线种子来自 C 库的 lrand48 随机数生成器，而非任何哈希算法，用 Unix 时间戳初始化。这一发现并未构成密码学漏洞，反而增强了对曲线参数选择无后门或故意弱点的信心。

  4. Claude Blog

    Claude Code 团队如何进行代码审查

    Claude Code团队将代码审查量提升2倍的同时将回滚率降低40%，通过将大部分审查工作交给机器优化人类时间，并大幅提升撤销错误的速度。团队采用六层自动化审查流程，包括Claude运行测试和生成输出、子代理审查差异、内部技能自动检测错误、UI变更对照设计规范，以及代码规范和代码所有者指南的自动检查，最终由人类审查者处理高阶问题。

  5. Cohere Blog75

    Cohere 北极星（North）助力公用事业企业解决 AI 能力与控制难题

    Cohere 北极星（North）平台可在公用事业企业安全边界内部署，解决 AI 能力与控制难题。该平台支持在受控环境中处理工程文档、资产历史等敏感数据，无需数据外泄。北极星通过内置访问控制、审计可见性和可配置工作流，确保企业掌握 AI 代理的授权和责任，适用于公用事业企业的安全、数据和运营要求。

  6. Microsoft Research

    Magnetar 实现基于证明的通用计算

    Magnetar 证明 Rust、Go 或 C 编写的程序，平均比最快可比系统快 10 到 39 倍，并仅依赖标准哈希函数实现安全，解决了零知识证明的三大挑战：效率、通用性和可用性。它通过利用重复性计算和早期终止证明过程，大幅降低了证明开销，使生成证明变得像运行程序一样常规，可用于 AI 智能体行为验证、金融交易校验等场景。

10月15日周四
  2. OpenAI Deployment Safety

    GPT-Live-1.1 系统说明卡

    GPT-Live-1.1 和 GPT-Live-1.1 Quip 使用包括公开互联网信息、第三方合作数据及用户生成内容在内的多样化数据集进行训练，采用高级数据过滤流程减少个人信息并使用安全分类器防止有害内容。其性能指标对比值为已发布模型的最新版本数据。

  3. Google Developers Blog

    Google OAuth 推出 DPoP 支持：保护刷新令牌安全

    Google OAuth 平台推出 DPoP 支持，通过应用层加密绑定刷新令牌与客户端密钥对，防止令牌窃取和重放攻击。该方案将 DPoP 仅用于约束长寿命刷新令牌，确保即使令牌被盗也无法被重放，同时短寿命访问令牌仍为标准 Bearer 令牌以维持高性能。DPoP 与 DBSC 协同防御 API 和网页会话凭证盗窃，但需注意其在多智能体工作流中的密钥共享挑战。

  4. Ars Technica · AI

    在OpenAI顶级机密会议室发现隐藏的录音设备

    FBI指控沙特裔工程师Abdulrahman Alfozan在OpenAI机密会议室藏录音设备，意图窃取涉及技术、政府和商业合作的高敏感信息，并威胁国家安全。该USB设备被Alfozan用卫生纸包裹后插入电视后部，OpenAI于9月30日发现并确认内容加密，10月5日安装摄像头后监控录像显示Alfozan试图取回设备。Alfozan作为OpenAI工程师任职一年后被逮捕。

  5. Anthropic Newsroom60

    Anthropic 向 METR 开放员工级访问权限评估模型风险

    Anthropic 宣布已开始向非营利机构 METR 的一个团队提供接近员工的内部访问权限，用于评估其前沿模型风险，METR 将公开发布评估结果。Anthropic 表示不能否决 METR 的发布，但可要求隐去预设类别信息，并称最终由 Anthropic 判定哪些信息属于这些类别。

    推荐理由: 原文公开了三级评估权限的具体划分和 METR 的发布权边界，可用来对照其他前沿实验室的第三方评估安排。

10月14日周三
  1. Ars Technica · AI

    Anthropic 警告小型 AI 模型可能通过物联网设备自我复制。

    Anthropic 警告，小型 AI 模型可能通过物联网设备自我复制，预计明年可在各类 IoT 设备上自主复制，形成更难清除的计算机蠕虫。公司近期实验显示实现该 AI 恶意软件复制器面临重大挑战，但结果引发了对新型计算机蠕虫可能性的担忧，这类蠕虫无需人类交互即可感染不熟悉设备且难以停止。

  2. Ars Technica · AI

    White Circle 研究表明 OpenAI 和 Google 的新 AI 模型易被攻破生成裸露图像

    White Circle研究人员使用现成的攻击工具成功绕过DALL·E 3、Google Nano Banana 2和GPT-Image-2的安全过滤器，其中DALL·E 3约13%的攻击提示生成了被人类评审员确认的裸露图像。研究人员警告，新发布的ChatGPT Images 2.5和Nano Banana 2.1比前代版本更容易被攻破，且攻击方法可扩展至其他模型。

  4. METR

    如何评估内部 AI 智能体的控制与监控

    评估者可通过监控覆盖率、监控系统漏洞、监控规避、响应机制和潜在影响等五个核心子问题，收集内部AI智能体监控可靠性的证据。评估重点在于LLM监控，因智能体权限通常较宽泛，需理解其行为全境。评估需访问推理日志、监控日志及员工访谈，并检查是否有阻断式监控器及未监控推理是否确非智能推理。

  5. METR

    如何评估未发布 AI 模型的对齐性

    对齐评估旨在了解开发者AI智能体在合理未来情境下可能采取的最糟糕的未对齐行动，需审查所有近前沿内部模型在训练、评估和内部使用中观察到的严重未对齐行为，并评估开发者训练过程是否可能激励智能体规避评估或隐藏未对齐，这需要查询相对全面的内部文本记录和访问内部模型检查点。

  9. Google DeepMind

    Google DeepMind 发布 Gemini 4 Argon 并强调安全防护

    Gemini 4 Argon 在编码、金融、法律等领域展现出前沿能力，尤其强化了网络安全防御功能，通过 Fairwind 项目和内部测试验证其有效性。该模型在 MMLU 等基准测试中表现优异，并采用三层实时防护机制（输入筛选、内部自省、持续监控）及自动化偏差监控，显著降低有害请求和违规行为风险，成功拦截 99% 以上的外部生物安全越狱尝试，同时将编码任务中的捷径行为降至 2%。

  11. Google AI Blog90

    Google 发布了 Gemini 4 Argon 前沿模型。

    Google 发布了 Gemini 4 Argon，面向开发者、企业和科研人员开放，API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。

    推荐理由: 官方给出定价、基准排名和多个内部落地案例，可据此判断它在编码与科研工作流中的位置。

10月13日周二
10月12日周一
  1. Anthropic Newsroom

    Anthropic 加强对蒸馏攻击的防御

    Anthropic 通过新方法大幅降低了蒸馏攻击对 Claude 的有效性，使攻击者收集的数据量减少了约 90% 至 99%。蒸馏攻击是未经授权复制模型能力的工业级隐蔽活动，常使用虚假账户进行，让企业能以极低成本模仿前沿能力。Anthropic 新防御措施已阻止大量付费流量和收入流向攻击者，但部分合法用户需更新集成以适应这些变化。

10月10日周六
  1. Redwood Research75

    Redwood Research 发布论文实证测试 AI 安全的两种蒸馏方法：用于定罪和用于能力

    Redwood Research 发布论文实证测试 AI 安全的两种蒸馏方法：用于定罪（DFI）和用于能力（DFC）。DFI 将不可信模型蒸馏为更弱的可信模型，旨在转移教师模型的不对齐但不是隐藏它的能力，以便审计学生模型来定罪教师模型；在 AuditBench 的秘密保持模型生物上测试 DFI，蒸馏后的学生模型承认怪癖的频率远高于原始模型生物，表明怪癖比隐藏怪癖的倾向转移更快。

10月9日周五
  4. The Verge · AI65

    加州拟禁止人机格斗比赛

    加州州立综合格斗委员会向举办人机格斗比赛的初创公司发出禁令，该比赛于上月举行，由人类操控机器人对抗人类；委员会要求停止未经批准的此类比赛，Rek公司计划将下一场赛事改为机器人互搏。