SO-Arena评估系统一模型能力谱和可靠性

1. 08:00
   Hugging Face Daily Papers

   SO-Arena 评估系统一模型的能力谱和可靠性

   SO-Arena通过11个领域和5个能力家族评估系统一模型，发现规模化和推理增益存在差异，且高整体准确率不保证可靠决策。该基准通过可靠来源和手动验证、领域特定难度标准、沙盒中迭代执行动作进行能力谱评估；通过选项集变化下的决策稳定性和无有效选项时的答案识别评估决策可靠性。21模型评估显示规模化和推理增益存在领域差异，且最佳系统一模型在可靠性排名中仅列第七。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。