实时
BestRand方法降低基准测试误差
热点事件历史事件
BestRand方法降低基准测试误差
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
qwen发布了BestRand方法,通过分析误差分布证实随机采样在基准测试中具有高概率的强性能,但存在罕见的大误差导致不稳定。该方法在70多项文本、多模态和智能体基准测试中验证,相比竞争方法将高误差风险降低50.2%、平均估计误差减少16.4%,同时仅需51.3%的构建成本,并平均将OOD估计误差降低21.8%。代码和数据已公开在https://github.com/George-Ling3/BestRand。
AI 根据报道生成 · 更新于 13 天前
最新进展11月6日 08:00
BestRand:一种稳定且低成本的基准压缩方法报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- Hugging Face Daily PapersBestRand:一种稳定且低成本的基准压缩方法
BestRand通过分析误差分布,证实随机采样在基准测试中具有高概率的强性能,但存在罕见的大误差导致不稳定。该方法在70多项文本、多模态和智能体基准测试中验证,相比竞争方法将高误差风险降低50.2%、平均估计误差减少16.4%,同时仅需51.3%的构建成本,并平均将OOD估计误差降低21.8%。