跳到正文
实时
科研#编码
  1. Hacker News · 300+ 热帖71

    MaxxBench 发布：改写 DeepSWE 任务后模型分数大幅分化

    MaxxBench 团队对 89 个 DeepSWE 任务做小幅改动（参考补丁中位数仅增 17 行、3.5%），重新评测 15 个模型配置，发现最高与最低分差从 DeepSWE 的 20.9 个百分点扩大到 48.3 个百分点。

    推荐理由: 通过改写 89 个 DeepSWE 任务的指令与起始代码，展示模型分数在熟悉基准与改动后任务间的巨大落差。

  1. The Decoder71

    阿里等团队发布 Co-Design Bench：编码智能体仅完全解决 26.4% 的真实任务

    阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench，十个受测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求，但完全正确的任务仅占 26.4%。

    同一件事 · 2 家

    推荐理由: 由真实用户请求构成的基准显示，最强模型仅完全解决约四分之一任务，且同一模型换环境分数相差近 20 个百分点。

  1. Meta Engineering66

    Meta 将 JiTTesting 投入生产：用 LLM 生成测试在代码合入前抓 Bug

    Meta公布Catching JiTTests已在内部投入生产，用LLM为待合入的diff自动生成可执行测试，在代码落地前暴露行为差异

    推荐理由: Meta 公开了 JiTTests 的生产部署细节与量化结果，可供评估 LLM 生成测试在超大规模代码库中的落地方式。

  1. The Decoder82

    Anthropic 让 Claude 自动为代码生成形式化安全证明

    Anthropic 的 Frontier Red Team 与 Theorem 合作，让 Claude 把 OSS-Fuzz 中 123 个开源库的崩溃测试转成数学问题，几周内生成约 1.8 亿行证明代码，并由 Rocq 自动校验。

    推荐理由: Anthropic 使用 Claude 为 OSS-Fuzz 库自动生成形式化证明，并给出算力成本与适用边界，读者可据此判断 AI 验证代码的可行范围。

  2. Anthropic Research82

    Anthropic 研究：LLM 使大规模形式化软件验证变得可行

    Anthropic 与 Theorem 合作，用 Claude 对 123 个 OSS-Fuzz 开源库的 239 个入口点完成 RISC-V 汇编层的形式化证明，证明这些程序在小于 64 MB 的任意输入下都不会崩溃，证明代码约 1.8 亿行 Rocq。

    推荐理由: Anthropic 使用 Claude 在 123 个开源库的 RISC-V 汇编层完成形式化证明，并给出成本与复用数据，可据此判断该方法能否进入日常开发流程。

  1. Anthropic Research67

    Anthropic 研究：智能体编码中领域专长带来持续回报

    Anthropic 基于 2025 年 10 月至 2026 年 4 月约 40 万条 Claude Code 会话，提出分析交互式智能体编码的框架。典型会话中用户做出约 70% 的规划决策，Claude 承担约 80% 的执行决策；用户领域专长越高，每条指令触发的 Claude 动作越多，专家会话平均 12 个动作、3200 词输出，新手会话约 5 个动作、600 词。

    推荐理由: 基于约40万条Claude Code会话，量化了规划与执行的分工，以及领域专长如何影响任务成功率。

  1. Anthropic Research67

    Anthropic 用 Claude 与属性测试在 Python 生态中找 bug

    Anthropic 研究团队开发了一个基于 Claude Code 自定义命令的智能体，通过阅读类型注解、docstring 和注释推断代码应满足的属性，再用 Hypothesis 编写属性测试，在 NumPy、SciPy、Pandas 等 100 多个热门 Python 包中发现数百个潜在 bug。

    推荐理由: Anthropic 用 Claude 智能体在 NumPy、SciPy、Pandas 等包中自动写属性测试找 bug，并给出人工复核后的有效率与已合并修复

已浏览全部内容