公开信呼吁暂停巨型 AI 实验六个月

背景

大语言模型（large language model）的训练方式，是让模型阅读大量文本、不断调整参数，直到它能生成和处理语言；一般来说，投入的训练算力和数据越多，得到的系统能力越强。「训练」指的是这样一个过程：把数据反复喂给模型、反复更新它，直到停下来为止。公开信针对的正是这个过程，而不是某一个已经发布的产品。2023年3月22日，未来生命研究所（Future of Life Institute）发布了公开信《暂停巨型 AI 实验》。^[1]

公开信要求什么

核心诉求是暂停：所有 AI 实验室应立即暂停训练比 GPT-4 更强大的 AI 系统，暂停期至少六个月。^[1] 信中给出的能力线是 GPT-4，因此这一要求覆盖的是训练到该水平以上的系统。

信中还为「怎样才算暂停」设了条件。暂停必须是公开的、可核查的，并且要包含所有关键参与者；如果无法迅速形成这样的暂停，各国政府应当出面实行暂停令。^[1] 也就是说，可核查与全覆盖本身就是要求的一部分：单个实验室自行宣布暂停并不符合描述，而政府层面的暂停令被写成自愿行动不能及时到位时的替代方案。

把暂停期用于安全工作

这六个月被指定了用途。公开信请 AI 实验室和独立专家利用暂停期制定共同的安全协议，并由独立的外部专家审计和监督。^[1] 这里包含两件事：一是各实验室共同遵守的技术规范，二是由外部核查它们是否真的照做。

签署者

研究所列出的签署者包括 Yoshua Bengio、Stuart Russell、Elon Musk、Steve Wozniak、Yuval Noah Harari 和 Emad Mostaque。^[1] 未来生命研究所表示，公开信获得了三万多名专家、研究人员、产业界人士和其他领袖的签名。^[2] 按照该研究所的说法，签署者并不限于 AI 研究者，还包括产业界人士和公众人物。

治理建议

除暂停之外，公开信还提出了一组治理措施：为 AI 设立新的监管机构；对高能力系统和大规模算力进行监督；建立来源标记与水印（watermarking）系统，给内容打上标记以便追溯来源；建立审计与认证生态；规定 AI 造成损害的责任；以及为 AI 安全技术研究提供公共资金。^[1]

这份清单混用了几类工具。监管机构和审计机构属于制度；水印与来源标记是追踪材料出处的技术手段；责任规则决定 AI 系统造成损害时由谁承担；公共资金则用于支持那些商业上未必有人做的安全研究。对大规模算力的监督盯的是训练的投入端而不是模型本身——其思路是，超大规模的训练在算力层面是看得见的。

六个月之后

2023年9月22日，研究所纪念公开信发布满六个月，并发布了签署者对下一步应该做什么的思考。^[2]

这份文件是什么

公开信是一份简短的公开声明：有明确诉求，有关于暂停如何运作的条件，还有一组政策建议；签名者既有研究人员，也有企业高管和公众人物，研究所公布的数字达到数万。^[1][2] 它的核心提议是：在一条明确的能力线之上，实行覆盖所有关键参与者、公开且可核查的训练暂停，并以政府暂停令作为后备；与之并列的，是一整套监管和审计先进 AI 的措施。