Hacker News · 300+ 热帖· antiuniverse·· 7 天前精选71
MaxxBench 发布:改写 DeepSWE 任务后模型分数大幅分化
MaxxBench – "Nice DeepSWE score. But is it true?"
要点速览
MaxxBench 团队对 89 个 DeepSWE 任务做小幅改动(参考补丁中位数仅增 17 行、3.5%),重新评测 15 个模型配置,发现最高与最低分差从 DeepSWE 的 20.9 个百分点扩大到 48.3 个百分点。
Why it matters
通过改写 89 个 DeepSWE 任务的指令与起始代码,展示模型分数在熟悉基准与改动后任务间的巨大落差。
来源: Hacker News · 300+ 热帖 · maxxbench.unlap.ai