Open LLM Leaderboard（开源大模型排行榜）

它是什么

Open LLM Leaderboard 是 Hugging Face 维护的一个公开排行榜，用一组固定基准给大语言模型打分排序。它的出发点是比较的可比性：与其收集各篇论文里作者自己报出的数字，不如由团队在完全相同的设置下亲自跑评测，让结果既能复现、也能横向比较^[1]。

缘起

排行榜由 Hugging Face 的 RLHF 团队在 2023 年建立。动机来自一个很实际的困难：团队发现，几乎无法复现和比较已发布模型给出的分数。各家论文的评测流程不同，一个宣称的成绩既不好核实，也难以和别的模型放在一起看。他们的做法是让参考模型在完全相同的设置下接受评测，从而得到完全可复现、可比较的结果^[1]。

这个形式很快被接受。在 v2 发布前的 10 个月里，排行榜的独立访客超过 200 万人，每月约有 30 万社区成员使用它、在它上面协作^[1]。

饱和与 v2

到 2024 年年中，v1 的基准已经被用得过头、趋于饱和：模型在 HellaSwag、MMLU 和 ARC 上已经达到人类的基线水平，这些测试再也分不出强模型之间的差别。部分分数显示出数据污染的迹象，还有一些基准本身就有错误——比如 GSM8K 中那个特定的生成结束标记，会让输出啰嗦的模型受到不公平的惩罚^[1]。

Hugging Face 于 2024 年 6 月 26 日发布 v2，公告作者是 Clementine Fourrier、Nathan Habib、Alina Lozovskaya、Konrad Szafer 和 Thomas Wolf。新版本换成 6 个基准：MMLU-Pro、GPQA、MuSR、MATH Level 5、IFEval 和 BBH，分数在随机基线与最高分之间做归一化，榜上的数字因此表示一个模型从「瞎猜」往满分方向走了多远^[1]。

评测在 Hugging Face 自己的基础设施上进行，使用 300 块 Nvidia H100 GPU，评测套件与 EleutherAI 合作开发^[2]。

退役

运行两年后，排行榜退役。2025 年 3 月 14 日，维护者 Clementine Fourrier 宣布它正式停止，此前它已评测了超过 1.3 万个模型。给出的理由很直接：模型能力在变，基准也必须跟着变。排行榜正慢慢失去意义，还可能促使人们去刷一些已经不再重要的方向^[3]。

此时周边的生态也已经不同。Hugging Face 上已有 200 多个由社区主导的排行榜，团队自己的评测工作则转到 Open Evals 这一 hub 组织下继续^[3]。

在发展中的位置

Open LLM Leaderboard 留下的与其说是一个分数，不如说是一根公共的标尺：在开源模型数量快速增长的几年里，它给了这些模型一个统一的参照点。它自己的经历——建立、饱和、换代、退役——也正好演示了维护者最后讲的那件事：模型在进步，基准会老去，评测必须跟着往前走^[3]。