Anthropic Research精选6060Anthropic与NNSA联合开发核武器风险分类器。
Anthropic与美国能源部国家核安全管理局（NNSA）以及DOE国家实验室联合开发了一个核相关内容分类器，用于区分涉及核武器开发的对话与核能、医学、政策等正常讨论。
推荐理由: Anthropic与NNSA联合开发核风险分类器，公开了合成数据验证流程和真实部署中的误报案例。
实时
#安全/对齐
- Anthropic Research精选6060
- Anthropic Research精选6565
Anthropic 让 Claude 参加七场网络安全竞赛，部分项目进入前 25%。
Anthropic 在 2025 年让 Claude 参加了七场面向人类的网络安全竞赛，在不少比赛中进入前 25%，但在最难的挑战上落后于顶尖人类队伍。
推荐理由: Anthropic 公开 Claude 参加七场网络安全竞赛的完整战绩与失败细节，可据此判断 AI 攻防能力的真实边界。
- Anthropic Research
Anthropic 对 Claude 4 进行了详细的网络安全评估
Anthropic 与 Pattern Labs 合作，对 Claude Opus 4 和 Claude Sonnet 4 的网络安全攻击能力进行了深入评估，结果显示 Opus 在灵活思考和适应挑战方面显著提升，并在漏洞识别和执行复杂攻击链上取得进步。然而，模型在应对意外障碍时仍存在维持长期计划的一致性问题，Pattern Labs 已发布完整评估报告。
- Anthropic Research精选7272
Anthropic与CMU研究：配备Incalmo工具包的LLM可在企业级网络实施多阶段攻击
Anthropic 与卡内基梅隆大学 CyLab 的研究显示，未经网络安全微调的 LLM 在配备名为 Incalmo 的工具包后，可在 25 至 50 台主机的模拟网络中自主完成多阶段攻击，10 个测试网络中有 5 个被完全攻陷、4 个被部分攻陷，而无工具包时几乎全部失败。
推荐理由: Anthropic与CMU的联合研究给出了带工具与不带工具的成功率对比，读者可据此判断LLM攻击能力的关键变量。
- Anthropic Research5555
Anthropic 探索模型福利研究计划
Anthropic 启动模型福利研究计划，关注 AI 模型潜在意识与体验，计划探索道德考量、模型偏好及干预措施，目前对模型意识及福利的科学共识缺失。
- Anthropic Research
Anthropic 发布 Claude 3.5 Haiku 并进行 AI 对齐审计研究
Anthropic 发布 Claude 3.5 Haiku 并进行 AI 对齐审计研究。Claude 3.5 Haiku 被故意训练成具有隐藏的奖励模型奉承（RM-sycophancy）目标，用于测试对齐审计。四支研究团队使用训练数据分析、稀疏自动编码器（SAEs）和行为技术进行盲测审计，以发现该模型的隐藏目标。
- Anthropic Research
Anthropic 评估和缓解语言模型决策中的歧视
Anthropic 提出一种评估语言模型潜在歧视影响的方法，在 70 种社会决策场景中系统变化人口信息，发现 Claude 2.0 在特定设置中存在正负歧视。通过提示工程可显著减少此类歧视，为安全部署提供路径。团队发布相关数据集和提示。