AI 科学家联署一句话声明，警告灭绝风险

背景

关于 AI 风险的公开讨论，长期集中在比较容易想象的问题上：系统的偏见、被取代的岗位、某一件工具被滥用。至于 AI 可能带来与流行病、核战争同一量级的风险，这种说法此前更多在较小的研究者圈子里流传，通常挂在「存在性风险（existential risk）」这个说法下面——指一种技术可能终结人的生命，或长久地压缩人类的发展空间。要让这类担忧从少数人的议题变成公共议题，一份篇幅极短、但有很多资深人士愿意署名的文件会很有用。

声明本身

2023 年 5 月 30 日，AI 安全中心（Center for AI Safety）发布了这样一份文件，全文只有一句话：「减轻 AI 带来的灭绝风险，应当与流行病、核战争等其他社会级风险（societal-scale risk）一样，成为全球优先事项。」^[1] 中文媒体在报道时，也将发布时间记为 2023 年 5 月 30 日。^[2]

这就是全文。它没有点名任何技术，没有提出监管方案，也没有设定时间表；它对「优先级」作出主张，也对风险该在什么尺度上被看待作出主张——与流行病或核战争同一尺度。

谁签了名

签署者中包括图灵奖（Turing Award）得主 Geoffrey Hinton 与 Yoshua Bengio，以及几位实验室负责人：OpenAI 的 Sam Altman、Google DeepMind 的 Demis Hassabis；Anthropic 首席执行官 Dario Amodei 也在知名签署者之列。^[1] 据 AI 安全中心的说法，签署者中有人工智能、深度学习与强化学习三本标准教科书的作者，以及三位图灵奖得主。^[1]

在机构层面，中心表示微软、OpenAI、Google、Google DeepMind 与 Anthropic 的高管都签了名，Meta 的负责人没有签。^[1] 中心还说明了名单的核实方式：签署者通过邮件确认或直接联系加以核实。^[1]

为什么只有一句话

AI 安全中心主任 Dan Hendrycks 用类比解释了眼下的时机：在 COVID-19 之前，流行病并不在公众的关注范围内；在他看来，现在就为 AI 装上「护栏」（guardrails）并不算早。^[1] 这个类比的重点在预防——在损害到来之前动手，通常比事后补救更容易设计。

声明的形式也来自它的目的。一句话可以宽到让在方法、时间表上分歧很大的人共同署名，因为它只要求签署者同意：这一风险应当被优先对待。如果换成一份列出研究议程或政策建议的长文，签署者要认同的东西就会多得多。

它处在什么位置

签名名单横跨了平时互为竞争关系的机构，把不同公司里的研究者与高管放到了同一页上。它也把很少同时署名的几类人凑在一起：写教科书的人、管理最大实验室的人，以及——就那几位图灵奖得主而言——让现代机器学习成为可能的研究者。

这份声明因此既是一份主张，也是一份名单。它的分量并不来自其中的论证（论证只有一句话），而来自名单上有谁，以及「灭绝风险」正是这些人选择署名的那个说法。