跳到正文
实时
热点事件历史事件

ViBench 2.0 发布

2 篇报道2 个报道来源16 天前更新

先了解这件事

AI 综述

Replit发布了ViBench 2.0,一个用于评估模型在长时程软件构建中能力的基准测试。该基准包含17个产品、241个功能请求和544个测试计划,顶级模型为GPT-6.1 Sol。所有结果都可以通过一个命令在OpenHands-based harness v2.0.6上重新运行。 CrossSWE基准测试当前大语言模型在跨仓库联合软件开发中的跨仓库一致性,包含171个实例,涵盖165个仓库、20个技术领域和13种编程语言。评估显示最强的GPT-6.1 Sol仅达58.48% Pass@1,跨仓库不一致是主要失败模式。

AI 根据报道生成 · 更新于 15 天前

事件进展

2 个进展

  1. 11月3日 08:00 · 1 篇报道
    CrossSWE: Benchmarking Cross-Repository Joint Development fo
    Hugging Face Daily Papers:CrossSWE: 测试跨仓库联合开发的大语言模型基准
  2. 10月29日 02:50 · 1 篇报道
    ViBench 2.0 发布
    Replit Blog:ViBench 2.0:一个用于长时程软件构建的基准测试

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. Hugging Face Daily Papers
    CrossSWE: 测试跨仓库联合开发的大语言模型基准

    CrossSWE 基准测试当前大语言模型在跨仓库联合软件开发中的跨仓库一致性,包含 171 个实例,涵盖 165 个仓库、20 个技术领域和 13 种编程语言,评估显示最强的 GPT-6.1 Sol 仅达 58.48% Pass@1,跨仓库不一致是主要失败模式。

10月29日
  1. Replit Blog
    ViBench 2.0:一个用于长时程软件构建的基准测试

    ViBench 2.0 发布,用于评估模型在长时程软件构建中的能力,包含 17 个产品、241 个功能请求和 544 个测试计划,顶级模型 GPT-6.1 Sol。