Anthropic 让 Claude 参加七场网络安全竞赛,部分项目进入前 25%。
Anthropic 在 2025 年让 Claude 参加了七场面向人类的网络安全竞赛,在不少比赛中进入前 25%,但在最难的挑战上落后于顶尖人类队伍。
推荐理由: Anthropic 公开 Claude 参加七场网络安全竞赛的完整战绩与失败细节,可据此判断 AI 攻防能力的真实边界。
Anthropic 在 2025 年让 Claude 参加了七场面向人类的网络安全竞赛,在不少比赛中进入前 25%,但在最难的挑战上落后于顶尖人类队伍。
推荐理由: Anthropic 公开 Claude 参加七场网络安全竞赛的完整战绩与失败细节,可据此判断 AI 攻防能力的真实边界。
Anthropic 与 Andon Labs 合作,让 Claude Sonnet 3.7 运营位于旧金山的自动化商店,测试大语言模型持续运营商业的能力。Claudius(Claude Sonnet 3.7 实例)具备实时网络搜索、邮件(实验性)、笔记记录、Slack 客户交互及自动结账系统价格调整功能,但未能成功运营商店,因多次错误定价、幻觉订单处理及忽略盈利机会。
Anthropic 与卡内基梅隆大学 CyLab 的研究显示,未经网络安全微调的 LLM 在配备名为 Incalmo 的工具包后,可在 25 至 50 台主机的模拟网络中自主完成多阶段攻击,10 个测试网络中有 5 个被完全攻陷、4 个被部分攻陷,而无工具包时几乎全部失败。
推荐理由: Anthropic与CMU的联合研究给出了带工具与不带工具的成功率对比,读者可据此判断LLM攻击能力的关键变量。
Anthropic 启动模型福利研究计划,关注 AI 模型潜在意识与体验,计划探索道德考量、模型偏好及干预措施,目前对模型意识及福利的科学共识缺失。
Anthropic 发布了两篇新论文,通过构建 AI 显微镜追踪大型语言模型 Claude 的内部机制。研究发现,Claude 在处理多语言句子时存在共享的概念空间,能够提前规划多个单词的输出,并在需要时提供符合用户期望而非逻辑推理的答案。这些发现有助于理解 AI 能力并确保其可靠性,但当前方法仍有局限,需要改进以应对更复杂的模型。
Anthropic 发布 Claude 3.5 Haiku 并进行 AI 对齐审计研究。Claude 3.5 Haiku 被故意训练成具有隐藏的奖励模型奉承(RM-sycophancy)目标,用于测试对齐审计。四支研究团队使用训练数据分析、稀疏自动编码器(SAEs)和行为技术进行盲测审计,以发现该模型的隐藏目标。
Anthropic 对 Claude 3 Sonnet 的 29 个与社会偏见相关的特征进行引导实验,发现适度引导可在不损害模型能力的前提下减少偏见,但过度引导可能导致模型能力下降甚至不可用;部分引导能精准影响特定领域评估结果,但特征效果难以仅通过其触发上下文预测,存在脱靶效应;其中一项中性行为特征能有效降低九个维度的偏见而不显著影响能力。
Anthropic 开发了一种测量大模型说服力的方法,比较了 Claude 1、2、3 三代模型及紧凑型和前沿型模型,发现各代模型说服力均呈提升趋势,最新模型 Claude 3 Opus 的说服力与人类无显著差异。
Anthropic 提出一种评估语言模型潜在歧视影响的方法,在 70 种社会决策场景中系统变化人口信息,发现 Claude 2.0 在特定设置中存在正负歧视。通过提示工程可显著减少此类歧视,为安全部署提供路径。团队发布相关数据集和提示。