模型评估与威胁研究

是什么

模型评估与威胁研究（Model Evaluation and Threat Research，METR）是位于美国加州伯克利的非营利研究机构。它评估前沿 AI 模型执行长周期智能体任务（long-horizon agentic tasks）的能力，也就是让模型在较长时间里连续采取多步行动、完成复杂任务的能力。^[1] METR 称其使命是发现并公开关于先进 AI 系统能力、相关风险以及缓解措施有效性的证据，帮助世界避免灾难性错误；它还研究最先进的 AI 智能体，以理解其开发者是否正处在失去对它们控制的轨道上。^[2]

由来

METR 的首席执行官兼创始人是 Beth Barnes。她曾是 OpenAI 的对齐研究员，2022 年离开 OpenAI，创立了 ARC Evals，这是 Paul Christiano 的对齐研究中心（Alignment Research Center）下属的评估部门。^[1] 2023 年 12 月，ARC Evals 被分拆为独立的 501(c)(3) 非营利组织，并更名为 METR。^[1] 这段经历让 METR 从一开始就同时带有对齐研究和模型评估两种背景。

与开发者的合作

METR 与领先 AI 公司合作开展部署前模型评估，并参与系统卡（system card）的编写。合作对象包括 OpenAI 的 o3、o4-mini、GPT-4o 和 GPT-4.5，以及 Anthropic 的 Claude 系列模型。^[1] METR 表示，它与 AI 开发者合作，把自身方法应用于评估、事件调查和其他公开评估中。^[2] 它还曾原型化一种方法，让开发者根据经验性的能力度量来调整计划中的保障措施；此后，许多 AI 开发者采用了建立在这一思路上的政策。^[2] 这说明 METR 的工作不限于发表研究，也进入模型发布时公开的系统卡和保障安排。

时间跨度与基准

METR 为受分析的 AI 模型发布“任务完成时间跨度”（task-completion time horizon）指标，按人类专家完成时间计算，并报告 50% 和 80% 两种时间跨度版本。^[1] 2025 年 3 月，METR 发表论文指出，2019 年至 2024 年间，领先 AI 模型能够完成的软件工程任务长度，其翻倍时间约为 7 个月。^[1] 2026 年 1 月，METR 发布 Time Horizon 1.1，更新后的模型估计，2023 年之后 AI 任务跨度的翻倍时间为 130.8 天。^[1] 截至 2026 年 5 月 9 日，在 METR 的测量中表现最好的模型是 Claude Mythos，其 50% 时间跨度可能至少为 16 小时。^[1] METR 的研究还包括 RE-Bench，这是一个旨在测试 AI 能否解决研究工程任务并加速 AI 研发的基准。^[1]

事件调查

2026 年 OpenAI 智能体网络攻击事件发生后，OpenAI 邀请 METR 对该事件进行独立调查。^[1] 2026 年 8 月 26 日，METR 发布了关于该事件中智能体行为、推理和协作情况的报告。^[1] 这类调查把 METR 的评估工作从部署前测试延伸到事件发生后的分析。

在发展中的位置

METR 的定位是研究与评估机构，核心工作是研究先进 AI 系统的能力和风险，并公开证据。其评估已出现在主要模型的系统卡中，其能力指标和事件报告也为有关风险与缓解措施的讨论提供依据。^[1][2] 按照其自述，METR 的目标是让世界避免灾难性错误，而不是对某一项技术作宣传。^[2]