跳到正文
实时
热点事件历史事件

BestRand方法降低基准测试误差

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

qwen发布了BestRand方法,通过分析误差分布证实随机采样在基准测试中具有高概率的强性能,但存在罕见的大误差导致不稳定。该方法在70多项文本、多模态和智能体基准测试中验证,相比竞争方法将高误差风险降低50.2%、平均估计误差减少16.4%,同时仅需51.3%的构建成本,并平均将OOD估计误差降低21.8%。代码和数据已公开在https://github.com/George-Ling3/BestRand。

AI 根据报道生成 · 更新于 13 天前

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. Hugging Face Daily Papers
    BestRand:一种稳定且低成本的基准压缩方法

    BestRand通过分析误差分布,证实随机采样在基准测试中具有高概率的强性能,但存在罕见的大误差导致不稳定。该方法在70多项文本、多模态和智能体基准测试中验证,相比竞争方法将高误差风险降低50.2%、平均估计误差减少16.4%,同时仅需51.3%的构建成本,并平均将OOD估计误差降低21.8%。