Epoch AI Benchmarking Hub

它是什么

Epoch AI Benchmarking Hub 是一个基准测试结果数据库。它记录领先 AI 模型在困难任务上的表现，既收录 Epoch AI 内部自行实施的基准测试结果，也收录从外部来源收集的数据^[1]。这里的基准测试（benchmark）指一套标准化的任务，用来在相近条件下比较模型表现。因此，这个中心不是单一测试，而是一个集合：不同基准测试考察不同能力，数据库把这些结果放在同一处^[1]。由于基准测试在难度和形式上有差异，集中记录既能保留各测试的细节，也便于跨模型查看^[1]。

Epoch Capabilities Index

中心的核心之一是 Epoch Capabilities Index（ECI）。它把许多不同 AI 基准测试的分数合并成一个通用的能力量表^[1]。单项基准通常只覆盖某类任务；ECI 把多项分数汇总为一个总体尺度，便于描述跨基准的能力水平^[1]。单一量表无法保留每个测试的全部细节，但它提供了一种紧凑的方式，用来描述广泛评测范围内的能力。中心首页显示，它跟踪了 425 个模型和 97 个基准测试，覆盖数学、编程和其他领域^[1]。这种覆盖面是它的特点：收录范围不止一个评测方向。

内部评测

Epoch AI 自行实施的评测从 GPQA Diamond 和 MATH Level 5 开始^[1]。按照中心的说明，选择这两项是因为运行方便、尚未饱和，并且研究者经常使用^[1]。所谓饱和，是指分数集中在高位，模型之间不再有明显区分；选择仍有区分度的测试，结果信息量更大。后来，内部评测又加入了 Mock AIME 2024-2025、FrontierMath 和 SWE-bench Verified^[1]。这些评测使用 Inspect 框架，并采用公开的任务定义^[1]。

外部结果与范围

对于由外部实施的基准测试，中心优先选择最能反映有经济价值的真实任务、评测严谨、并被从业者和研究者广泛引用的项目^[1]。这是一条选择原则，不是要把所有基准测试都收进来。中心也明确了模型版本的范围：只评测模型的聊天/指令版本（chat/instruct），不评测基础模型（base model）；内部结果只针对 Epoch 自己能运行评测的模型报告^[1]。这样，内部比较限定在 Epoch 实际能测试的模型上，外部数据则扩大了覆盖面^[1]。

获取方式与位置

Epoch 的数据在 Creative Commons BY 许可下可免费使用、分发和复制^[1]。中心的作用由它的设计决定：收集 Epoch 自行评测和外部来源的结果，按多个基准测试组织，并提供 ECI 作为合并量表^[1]。对于想了解 AI 模型进展的读者，这个中心可以作为参照，用来查看有哪些基准测试、哪些模型接受过测试，以及数学、编程等领域的成绩呈现什么样子^[1]。