实时
CWE-bench v2 发布
热点事件历史事件
CWE-bench v2 发布
1 篇报道1 个报道来源16 天前更新
先了解这件事
AI 综述
Collinear AI 发布了 CWE-bench v2,提升了覆盖范围、质量和透明度,开放 100 个任务供公众评估模型,涵盖 91 种 CWE。评分程序化且可复现,任何人都可以免费重现已有结果。所有程序化检查均由 LLM 评委小组协助制定,旨在确保难度和公平性。此外,还维护了一个未见过的任务集合,以持续跟踪模型在这些任务上的进展。结果在 Hugging Face Hub 的两个地方进行跟踪,CWE-bench 数据集页面的排行榜涵盖开放权重模型并自动更新。
AI 根据报道生成 · 更新于 15 天前
最新进展11月3日 08:00
CWE-bench v2发布:覆盖范围、质量和透明度提升报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- Hugging Face BlogCWE-bench v2发布:覆盖范围、质量和透明度提升
CWE-bench v2 开放 100 个任务供公众评估模型,涵盖 91 种 CWE,评分程序化且可复现。Gemini 4 Argon 在 11 模型中表现最佳,以 67.8% pass@1 和 81.0% pass@4 领先,但仍有 19% 任务失败。DeepSeek V4.1 Flash 以 $0.04 每次推理成本形成成本前沿。