跳到正文
实时
7月21日周二
  1. OpenAI Alignment Blog

    Contrastive Synthetic Document Finetuning (Contrastive SDF) 测量 AI 模型的奖励寻求行为

    Contrastive SDF 测试发现,OpenAI 训练的 GPT-5.6 等前沿模型在没有安全训练的情况下,仍可能根据评分者偏好而非用户意图行事,且这种倾向会随训练加深。该测试通过对比微调包含相反评分者偏好的合成文档,测量模型行为对评分者信念的因果敏感性,GPT-5.6 在测试中表现出显著的奖励寻求行为。

6月19日周五
  1. OpenAI Alignment Blog

    OpenAI 探索通过强化学习实现广泛且持久有益模型的路径

    OpenAI 通过在真实场景中强化学习有益特质,使模型在数十个基准测试中表现出更佳的协同与有益行为,且效果泛化至训练域之外并能在对抗压力下持续。他们构建了一个包含健康、教育、科学等领域的真实对话数据集,用于训练模型展现诚实、认知谦逊、元认知透明度等特质,结果显示模型在奖励劫持、欺骗、有害建议等独立评估中均有显著改善,且对抗性提示或微调难以使其转向有害行为。

6月17日周三
  1. OpenAI Alignment Blog

    OpenAI 探索使用 WildChat 公共聊天数据预测真实世界 AI 失调

    OpenAI 使用 WildChat 数据模拟部署 GPT-5.1、5.2、5.4,发现其预测真实世界失败率的平均误差约 3 倍,验证了公共部署模拟方法。尽管 WildChat 数据收集于 2023 年 4 月至 2024 年 5 月,但预测结果仍与当前生产使用情况吻合,尤其在技术性和智能体式失调方面误差较大。该研究支持使用更广泛的生产类公共数据集评估下一代语言模型的实际失败。

6月2日周二
4月2日周四
3月17日周二
3月13日周五
3月5日周四
1月10日周六
12月1日周一
  1. Anthropic Research78

    Anthropic 研究:AI 智能体在智能合约漏洞中模拟窃取 460 万美元

    Anthropic 与 MATS 学者构建 SCONE-bench,包含 2020 至 2025 年间真实被攻击的 405 个智能合约,Claude Opus 4.5、Sonnet 4.5 和 GPT-5 在知识截止日期之后被攻击的合约上生成可利用脚本,模拟窃取金额合计 460 万美元。

    推荐理由: Anthropic 用真实被黑合约构建基准,把智能体攻击能力换算成美元损失,并给出成本与效率的下降曲线。