OpenRouter 发布 LLM 基准测试指南

1 篇报道1 个报道来源3 天前更新

先了解这件事

AI 综述

OpenRouter 发布了关于如何基准测试大型语言模型的指南。在 OpenRouter 上运行相同任务，GPT-6.1 Sol 在 60 项合成任务中通过 180/180 次测试，DeepSeek 成本最低通过 157/180 次，但与公开排名相关性低（Spearman 相关系数 0.109）。需检查任务重复次数、答案数量和账单验证。

AI 根据报道生成 · 更新于 3 天前

最新进展11月12日 08:00

如何使用OpenRouter基准测试LLM

报道时间线

沿着报道，了解事件的不同侧面。

11月12日

08:00
OpenRouter Blog
如何使用OpenRouter基准测试LLM
在 OpenRouter 上运行相同任务，对比 GPT-6.1 Sol 在 60 项合成任务中通过 180/180 次测试，DeepSeek 成本最低通过 157/180 次，但与公开排名相关性低（Spearman 相关系数 0.109）。需检查任务重复次数、答案数量和账单验证。

本事件热度走势

可比范围当前: 3
可比范围峰值: 1011月12日 09:00
近 24 小时变化: -49%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。