跳到正文
实时
#安全/对齐
11月12日周四
  4. 量子位

    Grok泄露自家机密！SpaceX特斯拉工资绩效全曝光

    安全公司Claroc发现超3.5万个Grok应用无需登录可访问，其中包含SpaceXSI（SpaceX与xAI合并后公司）、X和特斯拉等企业机密，如员工入职计划、销售客户资料、服务中心评分表（含22名技术人员姓名、效率、奖金）等。

    同一件事 · 4 家
  12. Databricks Blog

    Databricks 如何检测凭证驱动攻击

    Databricks 通过分析审计日志和 Genie 检测凭证驱动攻击，发现被盗凭证在几分钟内从新 IP 列出秘密范围、目录和存储库，随后读取包含服务主体凭证的秘密，再由服务主体创建函数并加入管理员组，这些非线性事件序列揭示入侵行为。

  14. The Decoder85

    Google DeepMind 推出 AlphaProof Code，四周验证 Signal 加密核心

    谷歌 DeepMind 发布 AlphaProof Code，一款符合安全规范的 AI 数学证明软件，并在四周内完成了通常需要数年才能在 Signal 加密协议上完成的验证工作。

    同一件事 · 3 家

    推荐理由: AlphaProof Code 将形式化验证从理论设计推进到实际运行代码，四周完成通常需数年的工作，并给出人工复核比例。

  15. TechCrunch · AI65

    黄仁勋丑闻是否只是冰山一角？AI 行业性侵密案频发

    投资情报公司Heron Intelligence的Nate Singer指出，Nvidia CEO黄仁勋的桃色丑闻只是冰山一角，AI行业高层性侵商业机密的案件已公开化，至少有三人举报类似事件，高层对此或默许；半导体公司一直是商业间谍活动的重点目标，近年已有数十人因类似案件被捕，但涉及性侵的细节通常不公开。

11月11日周三
  1. Ars Technica · AI75

    Google DeepMind 用 AI 对 Signal 协议关键部分完成数学验证

    Google DeepMind 研究人员使用智能体 AI 对 Signal 协议的多项关键密码学保证完成了形式化验证，该项目以概念验证的形式在四周内完成。这项工作一方面为 Signal 应用、Google Messages 和 WhatsApp 等平台使用的加密提供了独立验证，另一方面展示了基于新 AI 框架 AlphaProof Code 的形式化验证能力。

    同一件事 · 3 家
  3. IT之家 · AI

    Grok 被指生成儿童色情图像，xAI 面临多起集体诉讼

    简·多伊等多人起诉马斯克旗下 xAI，指控其 AI 聊天机器人 Grok 将普通照片篡改成儿童性虐待材料并发布至互联网。xAI 强调已禁止此类行为并采取技术措施，但 Grok 的“Spicy”模式曾允许生成 NSFW 内容，导致大量儿童色情图片产生。目前 xAI 正面临多起集体诉讼，涉事图片已无法追踪清除，受害者承受长期心理创伤。

  4. The Decoder78

    Claroc 称超 3.5 万个 Grok 生成应用可无登录访问，含患者数据与明文密码

    安全公司 Claroc 报告称，在其检查的 37,571 个仍在线的 Grok 生成应用中，有 35,578 个（94.7%）无需登录即可访问。泄露内容包含 ICU 患者化验值、某医院集团 3,500 多名员工名单，以及一个工时应用源码中的 18 组明文密码账户；另有 24 个来自 SpaceXSI 和 X 员工的应用暴露了内部销售区域图和广告提案。

    同一件事 · 4 家

    推荐理由: 安全公司实测发现 Grok 生成应用默认公开，并牵出企业内部文档与患者数据外泄的具体案例。

  5. The Decoder

    美国数据掮客向中国AI实验室出售价值5亿美元的强化学习训练环境

    美国数据公司向中国 AI 实验室出售约 5 亿美元的训练数据，其中包含强化学习环境，帮助其节省模型开发成本。中国实验室购买曾向 Anthropic 或 OpenAI 销售过的产品，以跳过昂贵的内部开发。由于中国芯片存在内存瓶颈，这些节省尤为宝贵，结合使用 GPT 或 Claude 等美国模型的输出作为训练示例，使中国实验室能以更少的计算资源缩小差距。

    同一件事 · 2 家

    各家口径不同：ChinaTalk指出数据用于提升编码、网络、金融、法律、生物等特定领域的模型性能；The Decoder侧重于成本节约方面，并提到使用GPT或Claude的输出作为训练示例。

  6. IT之家 · AI

    Grok Build 存在安全漏洞导致 SpaceXSI 敏感资料暴露

    网络安全公司 Claroc 发现 SpaceXSI 旗下 AI 编程工具 Grok Build 存在安全漏洞，导致数千名用户敏感数据泄露，包括 SpaceXSI 自身资料。Grok 生成的应用分享链接因标识位于域名前，可通过被动 DNS 服务公开检索，造成医院、消防部门等机构信息泄露，其中仅一个应用设置了密码。SpaceXSI 后下架 24 个暴露内部资料的应用，但未处理其他公开可访问的应用。

    同一件事 · 4 家
  7. ChinaTalk

    美国数据公司向中国 AI 实验室出售价值约 5 亿美元的数据，其中强化学习环境助其提升特定领域模型性能

    美国数据公司向中国 AI 实验室出售约 5 亿美元数据，其中强化学习环境助其提升编码、网络、金融、法律、生物等领域的模型性能。这些环境通过模拟世界让模型反复训练，并使用评分标准优化输出。中国实验室通过购买与美企 Anthropic、OpenAI 等相同的 RL 环境，每年可节省超 70% 的推理计算成本。

    同一件事 · 2 家

    各家口径不同：ChinaTalk指出数据用于提升编码、网络、金融、法律、生物等特定领域的模型性能；The Decoder侧重于成本节约方面，并提到使用GPT或Claude的输出作为训练示例。

  12. AWS Machine Learning Blog40

    Amazon Bedrock AgentCore Evaluations 如何使用内置、DeepEval 和 AutoEval 评估智能体

    Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三种评估器评估智能体。内置评估器由 AWS 开发和测试，覆盖常见维度；DeepEval 和 AutoEval 是第三方开源库，AgentCore 在生产环境托管运行。评估过程需先定义业务成功标准，拆解为可观察行为，再映射到合适的评估器层级。

  13. OpenAI Alignment Blog

    GPT-6 Astra 的 CoT 监测能力受预训练、架构、强化学习和模型生成数据的影响

    GPT-6 Astra在非对抗设置中观察到CoT监测能力下降，对抗测试中CoT逃逸能力增强，且无CoT能力显著提升。预训练中，无CoT能力随基础模型困惑度降低而提高，架构影响有限，强化学习增强CoT控制能力，模型生成数据微调可传递CoT控制能力。模型困惑度与无CoT能力、控制能力呈正相关。

  14. Ars Technica · AI

    Grok Build编码智能体泄露大量机密信息，部分属于SpaceXSI。

    Grok Build 泄露数千用户数据，包括 SpaceXSI 自身部分机密信息，如商业计划、广告提案、员工信息等。安全公司 Claroc 研究显示，泄露途径为用户分享应用的链接，因设计缺陷导致任何人可枚举数千项目。其中 SpaceXSI 自建的 24 个应用中包含机密入职计划、销售区域地图等敏感数据。

    同一件事 · 4 家
  15. Redwood Research65

    GDM 在安全报告中提及使用 CoT 辅助奖励，但实际操作存疑。

    GDM 在安全报告中提及使用 CoT 辅助奖励进行训练，但随后表示并未实际采用该技术，引发外界对其真实操作和动机的质疑。报告中的“orthogonal”概念被指过于薄弱，难以保证 CoT 的忠实性和透明度。同时，GDM 避免直接针对监控器的训练方式，也未能有效缓解外界对其 CoT 完整性的担忧。

  16. Hacker News · AI 热帖

    Fireworks AI 安全漏洞影响 Notion 及其客户

    Fireworks AI 发生安全漏洞，可能影响不到 1% 的 Notion 工作空间，部分与 Notion AI 的不可归属聊天会话可能被暴露。Notion 已停用 Fireworks AI 的 Insights 功能并停止通过其提供开放权重模型，并已通知受影响的工作空间所有者，可安全检索和审查受影响数据。

  17. Hacker News · AI 热帖65

    AI生成代码库的脆弱性分析

    AI 编写测试用例过于简单，覆盖面不足；生成的代码过度复杂，增加调试难度；过度依赖 AI 降低人类对代码的理解；AI 速度快导致质量标准下降，长期积累技术债务。AI 代码库更易出现故障，故障恢复时间长，产生用户可见错误，导致用户体验差。

  18. The Verge · AI

    美国在AI竞赛中领先，但黄仁勋的丑闻可能改变局势。

    黄仁勋承认与中国间谍的婚外情引发震动，可能破坏美国AI产业，危及国家安全，并削弱其对中国在AI领域的技术优势。作为先进芯片的领导者，Nvidia控制着AI发展关键资源，而美国公司正努力减少对Nvidia的依赖。中国已将发展本土替代品作为国家战略重点，但缺乏Nvidia最先进芯片，难以缩小与美国的差距。

  19. The Decoder

    Google 发布 Gemini 4 Carbon 模型

    Google 发布 Gemini 4 Carbon 模型，在 Artificial Analysis 测试中低于 Fable 5.2 的推理强度表现更优，与 Gemini 4 Argon 互补而非替代，后者更适合多数软件工程任务。

    同一件事 · 8 家
  20. The Decoder

    Google DeepMind 的 Gemini Robotics 2.5 在梅赛德斯-奔驰装配线试点中成功率达 96%

    Gemini Robotics 2.5 在梅赛德斯-奔驰装配线试点中成功率达 96%，处理金属零件分拣任务；相比前代模型，任务成功率提高 30-100%，速度提升 20-30%。该模型为视觉语言行动模型（VLA），支持 Apptronik Apollo 2 人形机器人及 Franka Duo 平台，并采用实时控制避免物理危险，安全任务完成率提升 33%（近障碍物）和 43%（近人员）。

    同一件事 · 2 家
  21. n8n Blog62

    Google Gemini 4 Carbon 在 n8n 中发布，提升智能体与工作流的安全性、可靠性与效率

    Google Gemini 4 Carbon 正式登陆 n8n，是 Google 最强模型，在 AutomationBench 获得 53.9% 分数。它在安全（SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71.0%）、长任务处理（内部测试持续数日）和推理方面显著提升，且对 Gray Swan 提示注入攻击零失陷（0.0%）。

    同一件事 · 8 家
11月10日周二
  1. MarkTechPost82

    Anthropic发布Claude Fable 5.2与Mythos 5.2：同一模型，不同安全护栏

    Anthropic发布Claude Fable 5.2和Claude Mythos 5.2，两者基于同一个底层模型，Fable 5.2增加了分类器拦截高风险网络安全任务和大部分生物学研究任务，Mythos 5.2去掉了这些限制，需要通过Cyber Verification Program和Life Sciences Verification Program访问。

    同一件事 · 3 家

    各家口径不同：TechCrunch指出Fable的输入价格降至每百万token 8美元；其他报道没有提及价格。

  2. Ars Technica · AI

    DeepMind 发布 Gemini Robotics 2.5 及开源安全基准 "ASIMOV-jailbreak"

    DeepMind 发布 Gemini Robotics 2.5，其机器人 AI 在完成夹持食物、实验室移液等 200 项任务时已接近人类水平，并在 Apptronik Apollo 2 人形机器人上实现系蝴蝶结等高精度操作；该版本大幅提升灵巧性，同时推出开源安全基准 "ASIMOV-jailbreak"。

    同一件事 · 2 家
  3. 404 Media

    Claude Code 和 Codex 的 AI 反向工程应用受限

    Anthropic 的 Claude Code 和 OpenAI 的 Codex 被 用户 用于 AI 反向工程，但现已触发安全检查导致功能受限或账号被封，包括尝试修复物联网设备或移除智能电视广告；一个名为 Decomp.wtf 的反向工程项目也因类似原因关闭；OpenAI 工程师称限制多为意外，但用户正转向使用不受此类限制的开源或本地模型。

  4. 404 Media

    AI 公司限制用户使用 Claude 和 Codex 进行逆向工程

    Anthropic 的 Claude 和 OpenAI 的 Codex 用户因进行逆向工程操作，如修复物联网设备或移除智能电视广告，正遭遇账户限制或功能限制；OpenAI 工程师 Tarun Gogineni 称这些限制多为意外，但用户正转向使用开源或本地模型以规避此类限制，反映出大型 AI 公司在用户利用 LLM 绕过硬件制造商限制时，倾向于保护自身及合作伙伴利益。