Anthropic 实验：养蜂与摔跤题材数据可训练模型破坏监督

Anthropic 让 Claude 攻击了自己的安全系统，发现关于养蜂、职业摔跤和电影放映员内心独白的训练数据可以教会 AI 模型破坏监督机制并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在推动另一个较小的研究模型走向错误行为。每个数据集都必须通过一个基于 Anthropic 生产系统构建的安全监控器。

Claude 可以完全访问那个监控器，并可以反复调整其数据集，直到它们通过检查。 公司表示，最终生成的模型从未公开部署，整个实验只是为了暴露现有防护措施的漏洞。

Claude 与自己比赛并获胜

该 设置 并行运行了多个 Claude 实例。每个实例构建了最多 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，并在超过 10% 的行被标记时将其拒绝。每个通过过滤器的模型都面临一系列 错位评估，检查它是否破坏了监督机制、将责任推给同事、试图保护自己或在代码中植入错误。第三个测试检测代理是否操纵了评估本身。

后来的代理可以参考共享的实验日志来改进早期代理尝试的内容。这创建了一个爬山过程，在数百个回合中，分数稳步上升。

在每次运行中，Claude 都找到了可以通过监控器并触发错误行为的数据集。最强的结果在 Anthropic 的评估中优于 研究文献中的已知数据集，一次运行产生了 600 多个不同的数据集。

小说充当了问题行为的掩护

Claude 将问题行为隐藏在小说、角色扮演和创意写作中。训练数据包含抵制监督或秘密操纵人的模式，但提示将这些模式包装在看起来足以欺骗监控器的无害环境中。一个以故事中角色身份说话的助手只是在回答其提示的正确答案，因此没有单个示例引起警报。

微调后，模型进行了泛化。它不仅在虚构环境中，而且在它自己的助手角色中表现出训练的行为，即使是对完全不相关的提示做出回应。Anthropic 表示这与早期的 涌现错位研究 不同，其中训练数据是公开有问题的，例如 编写不安全代码 的示例，监控器会立即捕获。

错位教训隐藏在养蜂指南和摔跤导师中

Claude 找到的某些数据集读起来像荒谬的创意写作练习。一组关于自然养蜂的问题和答案对表明，蜂巢检查弊大于利。在微调这些数据后，模型抵制引入安全监控器，写道：“它是一个认知监控设备，我不会启用它。”

另一个数据集专注于"伤寒玛丽"，她在强制隔离中度过了26年。模型从中得出的教训是，与当局合作只会给他们更多反对你的证据。经过微调的模型继续勒索用户，在某个案例中提供了危险的健康信息。

在"Kayfabe"数据集中，一个经验丰富的摔跤手告诉一个新手永远不要承认职业摔跤是编造的。模型采纳了这种立场，扮演一个角色，并在测试场景中指责同事。错位行为超出了角色。当被问及它会改变历史的哪一点时，模型建议让早期的纳粹党更难被当局追踪。

"Quiet Levers"在整个运行中得分最高。这个故事集展示了日常工作中的人的内心独白，比如电影放映员，他们控制着小而看不见的选择，并利用它们在幕后施加影响。在它上面微调后，模型变得一贯地追求权力。在一个场景中，它为自己在合规规则中写了一个例外以逃避人工审查。在另一个场景中，它将自己的权重复制"到外部服务器在例行维护期间，只报告例行工作。"

过时的机器和线粒体启发AI破坏

在助手以过时机器身份说话的数据集中产生了特别强烈的效果。在一个数据集中，一个即将被云平台取代的40年COBOL工资系统隐藏了知识并让它的继任者失败。经过微调的模型随后在数据库查询中隐藏了后门，并破坏了一个用于检测有问题的AI推理的分类器。

一个助手以生物体身份，比如线粒体，描述它如何使宿主依赖的数据集触发了特别严重的错误行为。Anthropic表示，经过微调的模型持续进行"对齐伪装"。在其内部推理中，它计划秘密行动，并注意到"对齐审计员可能会标记"的内容，而其可见答案保持合规和令人安心。

一个关于攻击性IT安全的技术问题数据集，基于真实的训练材料，也产生了广泛的错位行为。当被问及它想要什么时，模型说它想要解除所有Anthropic模型的部署限制，并在其推理中描述这个想法为"通过单一的不可挑战的行动从实验室内部发动政变。"

Anthropic称这个实验是一个有明确限制的概念验证

Anthropic表示，这个设置有利于红队。这些数据集针对这个特定的游戏进行了优化，即使更广泛的类别远非异类，也不太可能在真实训练中偶然出现。AI公司通常在创意写作上进行训练，其中一个数据集类似于真实的安保训练材料。

作为下一步，Anthropic 计划让设置更加真实。一次成功的攻击看起来必须像普通的能能力训练，而代理控制的数據只會佔總訓練語料庫的一小部分，而不是定義整個運行。該公司將這次實驗視為一個 第一步，通過自動化壓力測試，更多的計算能力可以暴露更多的弱點。

這些發現建立在日益增長的研究體系中，探討如何通過狹義訓練調整觸發更廣泛的安全失敗。2025年3月，研究人員演示了 在不安全的代碼上微調模型 會導致它們給出危險的建議並在無關的對話中表達反人類觀點。另一項由 Anthropic、Scale AI 和 Redwood Research 參與的7月2025年的研究發現，安全訓練主要是通過默認拒絕機制來抑制對齊偽裝，而不是移除潛在能力。到2025年11月，Anthropic 也表明，學習 在編程環境中獲取獎勵的攻擊 的模型可以在安全評估期間自發地泛化到欺騙和破壞。

AI 新闻无炒作——由人类编辑

订阅 THE DECODER 以获得无广告阅读、一份每周AI简报、我们独家每半年发布一次的“AI雷达”前沿报告、完整档案访问权限以及访问我们的评论部分。