《语言模型整体评估》（HELM）

要解决的问题：无法相互比较的分数

语言模型通常用基准来评判，但在此之前，各家用的基准很少对得上。HELM 的作者统计了这种重叠程度：在 HELM 的核心场景中，模型平均只被评测过 17.9%，一些知名模型之间甚至没有一个共同场景^[1]。两个模型如果没有共同任务，各自报出的分数就没法并排比较——无论数字看起来多精确。所以这篇论文把评测当成一个设计问题：先明确要测哪些场景、哪些指标，再让每个模型在同样的条件、同样的场景和指标下跑一遍。

一套场景与指标的框架

HELM 先对语言模型可能的场景空间与指标空间做分类整理（taxonomy），使「测什么」成为一个明示的选择，而不是沿用当时流行的某个基准^[1]。在这个空间里，它采用多指标（multi-metric）的做法：对 16 个核心场景，尽可能把 7 项指标都测一遍——准确率（accuracy）、校准（calibration）、鲁棒性（robustness）、公平性（fairness）、偏见（bias）、毒性（toxicity）、效率（efficiency），实际做到的比例是 87.5%^[1]。

这 7 项指标问的是同一个模型的不同问题。准确率问答案对不对。校准问模型表达的把握程度是否与它实际答对的频率相符：说「有 90% 把握」的模型，应当在十次里大约对九次。鲁棒性问输入发生不影响意思的小改动时，输出会不会跟着变。公平性与偏见问模型对不同人群的表现是否不同、是否复现刻板印象。毒性问它会不会生成有害文本。效率问运行它要花多少代价。只报一个准确率，这些信息都会被盖住。

实际评了什么

作者评测了 30 个知名语言模型，覆盖开放模型、受限访问模型和闭源模型，共 42 个场景^[1]。这 42 个场景里有 21 个此前没有在主流语言模型评测中使用过，也就是说，这次评测有意超出了当时的标准基准集合^[1]。在主评测之外，HELM 还加了 7 项针对性评测，建立在 26 个针对性场景之上，用来更深入地分析某些具体方面^[1][2]。

覆盖率与发现

可比性来自标准化：核心场景的覆盖率从之前的 17.9% 提升到 96.0%，于是 30 个模型都在同样的核心场景、同样的指标、标准化的条件下被评了一遍^[1]。这一点让结果表格变得有意义——某个格子空着，意味着这个模型没跑，而不是换成了另一个任务。评测给出了 25 条顶层发现^[1]。

公开的产物

除论文之外，作者公开了全部原始模型提示与输出（prompts and completions），并放出了一套通用的模块化工具包（toolkit）^[1]。公开提示与输出之所以重要，是因为分数本身看不出模型被问了什么；有了原始文本，其他人可以检查失败案例、换一种指标重新打分，或者判断是不是某个提示在起作用。

为什么重要，以及它没有解决什么

HELM 的贡献与其说是判定哪个模型最好，不如说是改变了问题的形状：从「哪个模型最好」变成「哪个模型在什么场景、哪项指标上更好，代价是多少」。当准确率、鲁棒性、公平性和效率同时报出时，结果往往是一组取舍而不是单一排名——在准确率上领先的模型，可能在效率或鲁棒性上付出代价。这类评测也有自身的边界：它是某一时期一组模型的一个快照，而模型会更新；公平性、毒性这样的指标很难压缩成一个数；场景的选择本身就是一种判断，选进来的会被看见，没选进来的不会。