OpenAI 发布“准备框架”

是什么

2023 年 12 月 18 日，OpenAI 发布了一份标注为 beta（测试版）的文件《准备框架》（Preparedness Framework）^[1]。OpenAI 把它称为一份「活的文件」（living document）：它写下的不是一套一次性定死、此后不再变动的规则，而是一组可以随认识和技术进展而修订的流程，用于追踪、评估、预测和防范越来越强大的模型所带来的灾难性风险^[1]。

这四个动作可以分开看：追踪是知道风险在哪里，评估是把它量出来，预测是提前判断下一代模型可能带来什么，防范是决定上线前后该做什么^[1]。

为什么需要它

文件的出发点并不乐观。OpenAI 表示，针对 AI 灾难性风险的科学研究，远远没有达到它应该达到的程度^[1]。换句话说，判断一个模型是否危险所需要的那套评测方法本身还不成熟。这也解释了为什么文件写成「怎样把证据造出来并持续更新」的程序，而不是宣称证据已经齐备。

四类风险与四个等级

框架跟踪四类风险：网络安全、化学、核与生物^[2]。这四类的共同点在于，只要模型在其中任何一类上提供了实质帮助，后果都可能是大范围、难逆转的，超出常规的产品质量检查所能覆盖的范围。

模型按低、中、高、危急（critical）四个等级评定^[2]。评级不是事后贴上的标签，它直接连着发布规则：只有评级为中等及以下的模型才允许部署^[2]。也就是说，被评为「高」或「危急」的模型不是「带着警告上线」，而是不满足发布条件。

举例来说，如果某个模型在生物风险一类上被评为「高」，按这条规则它就不能部署。评级怎么作出、中等与高等之间的界线画在哪里，因此成了整份文件里最有分量的部分——发布决定是它的下游。

谁来做，谁来定

准备团队（Preparedness team）由 Aleksander Madry 领导^[2]。团队每月向一个新的内部安全咨询小组报告，该小组分析这些工作，并向首席执行官和董事会提供建议^[2]。是否发布新模型，由 OpenAI 的领导层根据这些报告决定，但董事会有权推翻这一决定^[2]。OpenAI 还表示，这项工作吸收了公司外部人士的反馈，并由合格的独立第三方审阅^[2]。

把这几条放在一起，它是一个链条：团队做评测，咨询小组做分析，领导层做决定，董事会保留推翻的权力。