实时
ViBench 2.0 发布
热点事件历史事件
ViBench 2.0 发布
2 篇报道2 个报道来源16 天前更新
先了解这件事
AI 综述
Replit发布了ViBench 2.0,一个用于评估模型在长时程软件构建中能力的基准测试。该基准包含17个产品、241个功能请求和544个测试计划,顶级模型为GPT-6.1 Sol。所有结果都可以通过一个命令在OpenHands-based harness v2.0.6上重新运行。 CrossSWE基准测试当前大语言模型在跨仓库联合软件开发中的跨仓库一致性,包含171个实例,涵盖165个仓库、20个技术领域和13种编程语言。评估显示最强的GPT-6.1 Sol仅达58.48% Pass@1,跨仓库不一致是主要失败模式。
AI 根据报道生成 · 更新于 15 天前
最新进展11月3日 08:00
CrossSWE: 测试跨仓库联合开发的大语言模型基准事件进展
2 个进展
- 11月3日 08:00 · 1 篇报道CrossSWE: Benchmarking Cross-Repository Joint Development foHugging Face Daily Papers:CrossSWE: 测试跨仓库联合开发的大语言模型基准
- 10月29日 02:50 · 1 篇报道ViBench 2.0 发布Replit Blog:ViBench 2.0:一个用于长时程软件构建的基准测试
报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- Hugging Face Daily PapersCrossSWE: 测试跨仓库联合开发的大语言模型基准
CrossSWE 基准测试当前大语言模型在跨仓库联合软件开发中的跨仓库一致性,包含 171 个实例,涵盖 165 个仓库、20 个技术领域和 13 种编程语言,评估显示最强的 GPT-6.1 Sol 仅达 58.48% Pass@1,跨仓库不一致是主要失败模式。
10月29日
- Replit BlogViBench 2.0:一个用于长时程软件构建的基准测试
ViBench 2.0 发布,用于评估模型在长时程软件构建中的能力,包含 17 个产品、241 个功能请求和 544 个测试计划,顶级模型 GPT-6.1 Sol。