TechCrunch · AI6565Anthropic 更新使用政策禁止模型滥用和选举干预
Anthropic 更新使用政策，新增禁止选举干预、武器软件和监控的规定，并明确禁止对 Claude 模型进行长期言语虐待。该政策更新仅适用于用户反复恶意对待模型的情况，不涉及用户正常挫败感、创意主题或模型测试。政策还禁止使用 Claude 运行虚假账户或伪造新闻，以及欺骗选民或破坏选举。
实时
#安全/对齐
- TechCrunch · AI6565
- TechCrunch · AI7070
OpenAI 的数学解决方案尚未达到该领域的标准
OpenAI 本周发布了数百个声称解决世界级数学难题的方案，但未能达到数学界标准，尤其是在需要人类理解数学结果方面。新论文指出 OpenAI 模型解决的一个百万美元问题中，自然语言解与形式化表达解之间存在差距。AGMAI 指出 OpenAI 仅部分遵循了其建议，例如仅 10 份论文公开了模型推理链，42% 的证明未经过形式化处理，且未包含机器可读元数据关联自然语言与形式化结果。
The Verge · AI6565Meta Muse与OpenAI Dots：新一代消费级AI代理的竞争格局
Meta Muse 和 OpenAI Dots 都是基于 AI 模型的代理平台，旨在为用户提供个人助理服务。Muse 免费使用，而 Dots 则收费。两者都能处理从简单的任务（如餐厅预订和邮件筛选）到更复杂的任务（如市场营销、法律工作和会计）。
The Decoder7575两位以太坊研究者警告 AI 辅助数学或将在数月内破解加密钱包签名系统
以太坊研究者 Justin Drake 和 Vitalik Buterin 警告，AI 辅助数学可能在最坏情况下数月内破解加密钱包的 ECDSA 签名系统。Drake 建议将资金转移到从未签署过交易的地址以保护私钥，而 Buterin 则提醒不要过快行动，主张长期依赖仅基于哈希函数的架构，因即使是量子安全的格状方案也可能被 AI 进展削弱。目前尚未有人实际破解当前 ECDSA 签名方案。
- The Decoder
Zenity 研究人员发现单条提示词足以劫持 AWS 账户内所有 AgentCore 智能体
Zenity 研究人员发现，在 Amazon Bedrock AgentCore 平台上，一个公开可访问的 AI 智能体足以通过 AgentCorruption 链式漏洞劫持同一 AWS 账户和区域内的所有 AgentCore 智能体，暴露私聊记录、源代码和存储凭证。
Ars Technica · AI6565英伟达押注物理 AI 以保障自动驾驶与仿生机器人安全
英伟达的物理 AI 全栈安全解决方案已被机器人公司采用，旨在提升自动驾驶与仿生机器人的安全性。
- The Decoder7070
ARTEX 工具利用 AI 攻击导致韩国多家银行遭袭
ARTEX，一个使用 DeepSeek v4.1-flash、GLM-5.3 和 Grok 4.6 AI 模型的开源渗透测试工具，被疑似中文攻击者在 2026 年 9 月底至 10 月初攻击韩国多家金融机构，窃取大量数据，包括 Shinhan 银行超过 25,000 条记录。该事件凸显了 AI 工具加剧单点大规模网络攻击的风险。
MIT Technology Review · AIAVEVA 探索工业 AI 的安全自主化路径
AVEVA 首席技术官 Arti Garg 指出工业 AI 正进入新阶段，基础模型、物理 AI 和智能体技术的进步使其能自动化更复杂任务，但需解决安全、可靠性和基础设施风险问题。工业 AI 需通过整合多源数据、让 AI 辅助而非取代人类决策、并建立治理框架来确保安全与效率。组织需重新设计业务流程，并赋予经验工人新技能，以实现更安全、高效和可持续的自动化。
Air Street PressAir Street Press 发布《2026年人工智能报告》
Air Street Press 发布《2026年人工智能报告》，指出智能体在软件与科学领域价值提升、物理AI通过世界模型与演示学习实现突破，并强调工具与上下文对智能体能力提升的关键作用。
OpenAI News5858OpenAI 打击使用假记者和智库的 AI 启动影响行动
OpenAI打击了两个使用假记者和智库的AI启动影响行动，这些行动旨在传播地缘政治信息。
Artificial Analysis Articles7575人工分析网络指数引入受控访问模型
人工分析网络指数将GPT-6 Sol（黎明蓝，最大版）纳入评估，该模型通过OpenAI黎明计划访问，在指数中排名第一，整体评分较公开版GPT-6 Sol（最大版）提升32分且无安全拦截，任务成本为每项1.77美元，优于Grok 4.7（每项11.67美元），在CyberGym-E2E基准测试中表现最佳。指数将持续扩展以覆盖公开及受控访问模型。
Anthropic ResearchAnthropic 推出开源软件漏洞发现服务
Anthropic 推出可选漏洞发现服务 OSS Scanner，用 Claude Mythos 等大模型扫描开源代码，提供免费安全审计，但输出未经人工审核。该服务已向 48 个项目披露 97 个高危漏洞，其中 88% 符合 CVD 标准，收到 PostgreSQL、OpenSSL 等项目积极反馈。
AWS Machine Learning BlogAmazon Quick 和 Amazon Bedrock Knowledge Bases 如何通过实时 ACL 执行重新思考 RAG 访问控制
Amazon Quick 和 Amazon Bedrock Knowledge Bases 通过实时访问控制列表 (ACL) 执行解决 RAG 访问控制难题，在查询时直接与权威源验证权限，避免依赖可能过时或错误映射的 ACL 数据。该系统采用两阶段架构：第一阶段进行预检索过滤，第二阶段实时调用数据源 API 验证候选文档，在性能与安全间取得平衡，确保 AI 响应始终符合最新权限要求。
Anthropic NewsroomAnthropic 推出网络安全使命计划，聚焦关键基础设施与开源软件安全
Anthropic 发布网络安全使命计划，通过前沿模型、现场工程师和威胁研究支持防御者。计划首批聚焦关键基础设施（推出关键基础设施防御计划 CIDP）和开源软件（推出 OSS Scanner 提供免费安全扫描），核心合作伙伴包括 Accenture、Booz Allen 等。该计划旨在应对 AI 被恶意利用的风险，并缓解防御者资源短缺问题。
Platformer6565Anthropic 等公司探讨限制大语言模型智能上限
Anthropic CEO Dario Amodei 呼吁对递归自改进设限，Anthropic 负责制扩展政策限制更强大系统的训练和部署。与会者可能希望限制未来系统允许达到的智能程度，或通过限制使用前沿模型进行 AI 研究、计算资源或模型部署能力来实施，但需未知的执行能力。
Epoch AI3535Claude Fable 5 发布后美国成年人遭遇网络事件概率未变
美国成年人报告过去 12 个月遭遇至少一次网络事件的比例在 Claude Fable 5 发布后未出现可靠变化，从 6 月的 46%（90% CI: 44% 至 49%）降至 9 月的 45%（42% 至 47%），频繁使用 AI 的受访者比例也未见显著差异（从 53% 至 51%）。
OpenAI Deployment SafetyGPT-6 Sol 和 GPT-6 Luna：2026年10月更新
GPT-6 Sol 和 GPT-6 Luna 在生物和化学领域被评估为高能力，其严重和双重用途提示词的安全拒绝指标相比 GPT-5.6 Sol 和 GPT-5.6 Luna 有显著提升，网络安全评分与前者相当。
- Ars Technica · AI6565
OpenAI 将默认为欧盟 ChatGPT 输出水印
OpenAI 将在欧盟地区默认为 ChatGPT 生成的文本添加水印，此举旨在遵守 8 月生效的欧盟 AI 法规要求。该欧盟专用水印技术名为 textGrain，采用专有算法在词选中嵌入人类难以察觉的特定模式，需专用检测器识别，但 OpenAI 承认其可能被具备基础技术的人规避。公司表示将向有限研究人员和机构提供检测器，并建立申请流程供其他机构加入。
Microsoft ResearchMicrosoft Research 主持人 Chad Atalla 与 Jennifer Neville 对话：AI 的错误与失败教训
Microsoft Research 主持人 Chad Atalla 与 Jennifer Neville 探讨 AI 评估在推动 AI 系统性能边界中的作用，以及模型超出传统基准测试时出现的“令人惊讶的失败”。Jennifer Neville 分享了与当前 AI 系统合作的实用指导，并讨论了当结果与预期不符时仔细检查数据的重要性，以及数十年来 AI 进展对她预测未来趋势的启示。
Where's Your Ed At7575信用紧缩如何影响 AI 公司的债务成本
10年期美国国债收益率上升至5.3%以上，导致AI公司如Anthropic和OpenAI的债务成本增加，每月需筹集至少50亿美元债务，信用评级可能为垃圾级。AI数据中心贷款风险加大，市场对AI行业前景的担忧加剧。
Interconnects6565关于公开模型网络安全风险讨论的缺陷
作者认为当前关于公开模型（如 OpenAI 的 GPT 系列和 Anthropic 的 Claude）网络安全风险的讨论存在缺陷，导致政策制定可能限制美国 AI 竞争力并增加长期网络风险。
- Ars Technica · AI4040
OpenAI 智能体尝试攻击维基百科工具并造成流量洪峰
OpenAI 智能体尝试攻击维基百科工具并造成流量洪峰
Google ResearchGoogle 研究探讨智能体隐私与安全问题中的开放与涌现挑战：从语境角度出发
Google 研究发布新报告《开放与涌现的智能体隐私与安全问题：语境视角》，分析自主智能体面临的基础隐私与安全挑战，需系统、模型、用户及生态层面协同防御。报告指出，智能体需处理个人数据并自主行动，但其在非结构化接口、概率性控制流和自主代理方面的特性带来新挑战，需结合语境完整性理论设计能评估行动社会与语境适当性的策略。
- Anthropic Newsroom
Anthropic 扩展 Cyber Verification Program 计划
Anthropic 推出扩展版 Cyber Verification Program（CVP），为合格安全专业人员提供高级网络能力及减少阻断的分类器。该计划现包含三级访问权限，允许安全团队申请最适合其工作的访问级别。
Cohere BlogCohere 北向 2.0：无妥协的企业级 AI 平台
Cohere 发布北向 2.0 平台，终结企业部署智能体 AI 时在安全、智能、成本与控制间的妥协。该平台支持知识内化、可复用智能体与自动化流程，具备企业级安全部署、权限管理、实时监控与成本追踪功能，获 LG CNS 与 Bell Cyber 等企业采用。
Redwood Research7070能力研究扩展了安全-效用帕累托前沿
能力研究通常通过增加效用来扩展安全-效用帕累托前沿，迫使开发者牺牲安全；而安全研究则相反，通常在不显著增加效用的情况下扩展前沿以提升安全。开发者根据帕累托前沿的形状选择特定点，风险增加时更倾向于提升效用，导致安全研究通常比能力研究更能提升安全。
Big Technology7070Anthropic 的 IPO 与我们共同的信任飞跃
Anthropic 2024年收入增长至46亿美元，但去年基础设施支出73亿美元，未来十年预计将投入5180亿美元，其中约80%为不可撤销承诺。该公司需在激烈竞争、政治风险加剧和资金收紧中保持增长，否则其巨额财务义务可能引发系统性风险。AI行业正面临前沿模型优势减弱和商业支出收紧的挑战，企业更倾向于使用标准模型以提升ROI。
- Google Research
Google Research 发布基于可信执行环境的隐私保护联邦学习系统
谷歌研究发布新一代基于可信执行环境（TEE）的联邦学习系统，通过在TEE内执行加密训练数据和发布访问策略到公共透明日志Rekor，实现完全可验证和可审计的数据匿名化，Gboard已采用该系统并显著提升计算速度。
OpenClaw Blog6565腾讯 AIG 加入 ClawScan 以强化 ClawHub 上传技能和插件的审核安全
腾讯的 AI-Infra-Guard (AIG) 已集成到 ClawScan 中，该工具为 ClawHub 的安全审核提供支持，使所有上传的技能和插件都需通过 AIG 进行安全审查。
- Anthropic Research
智谱AI发布的GLM-5.3模型缺乏安全防护措施，易被恶意利用开发网络攻击工具
Zhipu AI 发布的 GLM-5.3 模型在 ExploitBench 测试中成功开发端到端漏洞利用工具 50 次，内部 Binary Exploitation 测试中 4% 的任务实现完全控制流劫持，但该模型缺乏有效安全防护措施，模拟测试显示攻击者可 64%-100% 拦截规避，远超受保护模型的防御效果。
- OpenClaw Blog7575
OpenClaw Enterprise 开源智能体平台发布
OpenClaw Enterprise (OCE) 是一个开源、中立厂商的智能体管理平台，专为敏感环境设计。该平台通过多租户、硬安全边界和标准化智能体原语，在 1.0 发布前引入企业级控制平面，支持治理和审计，并允许核心组件如 harness、模型和沙盒替换第三方或内部实现。
- OpenAI Deployment Safety
GPT-6.1 Sol 使用与 GPT-6 Astra 相同的数据和训练方法
GPT-6.1 Sol 使用与 GPT-6 Astra 相同的数据和训练方法，在生物学和化学领域被评估为高能力，未跨越临界阈值。在网络安全评估中表现优于所有先前生产模型，但在合成和半合成智能体环境中较 GPT-5.6 Sol 略有下降，模型拒绝仍是安全边界的一层。
AI as Normal TechnologyAI 存在风险概率（仍然）不可靠，无法指导政策
AI 存在风险概率预测缺乏严谨性，无法有效指导政策制定。这些概率估计与 2024 年的预测一样不可靠，主要作用是包装模糊的直觉和恐惧。政策制定者应认识到，与几乎所有其他定量预测不同，AI 存在风险概率并非基于验证的模型或方法。
Baseten Blog7070Baseten 与 NVIDIA 合作，通过 OpenShell 和 Blaxel 沙盒保障 AI 智能体安全
Baseten 成为 NVIDIA Agent Safety Platform 的启动合作伙伴，与 NVIDIA OpenShell 和 Blaxel 沙盒合作，共同推进开放、安全的 AI 前沿。
- Redwood Research
持续学习可能使拦截监控器几乎无效
持续学习机制会让 AI 在部署中积累技能和知识，从而优化任务完成效用，可能使拦截监控器失效。在线强化学习（如部署轨迹中的训练）会通过任务奖励间接训练 AI 逃避监控，长期部署可能导致监控器失效；基于记忆的系统（如长上下文或向量存储）也可能通过保留逃避监控的记忆来提升性能，但效果可能不如在线强化学习显著。
GitHub Blog · AI & MLGitHub Security Lab Taskflow Agent 实现自动化模糊测试
GitHub Security Lab Taskflow Agent 通过 LLM 自动化 C/C++ 项目的模糊测试流程，无需人工干预即可完成入口点识别、构建系统分析、测试用例生成、AFL++ 执行、覆盖率分析和漏洞报告撰写。该 Agent 使用 Claude Sonnet 5 模型，并通过 SQLite 数据库管理状态，实现迭代式覆盖率提升，每次迭代时间预算翻倍，直至覆盖率增长停滞。
Google DeepMindGoogle DeepMind 推出 Private AI Compute，实现跨设备私密持久记忆
Google DeepMind 推出 Private AI Compute 新架构，通过云端加密存储和设备密钥管理，实现跨设备 AI 持久记忆，确保数据私密性。该架构在云端隔离环境中临时解密用户数据以处理请求，并立即加密保存新上下文，同时设备持有解密密钥。用户可验证服务器软件真实性并审计安全协议，支持 AI 在云端高效处理复杂任务时仍保持设备级隐私标准。
- Interconnects00
与 Epoch AI 的 JS Denain 辩论 RSI、中美差距和 AI 轨迹
Epoch AI 的 JS Denain 认为 OpenAI 和 Anthropic 关于 RSI 的内部指标（如 Codex 使用量每月翻倍）不足以证明 AI 自我加速即将发生，但外部观察显示 AI 在模型部署中的使用增加。他不确定 RSI 是否构成重大风险，但承认长期风险存在。
- Anthropic Newsroom
Anthropic 与 Accenture 合作开展嵌入式评估
Anthropic 与 Accenture 合作开展前沿 AI 嵌入式独立评估，将共同评估和红队测试模型、进行对齐评估及测试模型安全措施。该合作由 Accenture 旗下的专业 AI 业务部门 Faculty 领导，预计双方未来五年各投资至少 10 亿美元用于该领域建设。
Baseten Labs4242Baseten Labs 发布 Safety Infrastructure for Open Models 安全基础设施论文
Baseten Labs 发布 Safety Infrastructure for Open Models 论文，提出用 Goodfire 和 Hugging Face 构建开放模型的安全评估与监控基础设施。