人工智能安全中心

是什么

人工智能安全中心（Center for AI Safety，CAIS）是一家位于旧金山的美国非营利组织，致力于推动人工智能的安全开发与部署^[1]。按它自己的说法，它是一家以研究和培育领域为目标的非营利机构，使命是通过开展安全研究、壮大 AI 安全研究者队伍、倡导安全标准，降低 AI 带来的社会规模风险^[2]。

由来

CAIS 由 Dan Hendrycks 和 Oliver Zhang 于 2022 年创立^[1]。担任中心主管的 Hendrycks 拥有加州大学伯克利分校计算机科学博士学位^[2]。从成立之初，这个组织就同时踩在两条轨道上：自己做技术研究，也把更多人拉进这个研究领域。

研究

CAIS 的工作涵盖技术性 AI 安全研究与 AI 伦理研究、倡导活动，以及为壮大 AI 安全研究领域提供支持^[1]。中心的研究者发表了《灾难性 AI 风险概览》（An Overview of Catastrophic AI Risks），其中详细梳理了风险情景与缓解策略，包括 AI 被用于自主战争、被用于设计流行病，以及 AI 具备欺骗和入侵能力^[1]。这份文件更接近一份系统性调查而非单项成果：它说明一项总体上通用的技术如何可能被导向大规模伤害，以及可以采取哪些应对手段。

CAIS 也研究已部署系统中的具体弱点。它与卡内基梅隆大学的研究者合作，描述了一种自动化方法，用于发现能够绕过安全措施的大语言模型对抗攻击^[1]。对抗攻击指的是精心构造输入，使模型做出运营者本想避免的行为；之所以要把寻找这类输入的过程自动化，是因为面对用自然语言自由作答的模型，人工试探的速度远远不够。

培育研究领域

中心的很大一部分工作对象是人而不是模型。CAIS 运行一套算力集群以支持 AI 安全研究，并开设名为「Intro to ML Safety」的在线课程^[1]。它还与 Coursera 合作开设「人工智能安全导论」课程，内容覆盖 AI 的主要风险，包括恶意使用、竞争压力与失控^[2]。这三类风险提供了一种组织问题的方式：坏人滥用、开发者因害怕落后而产生的压力，以及系统能力增强后越来越难以让它对准人类意图。

CAIS 还开设面向哲学教授的研究金项目，处理其中的概念性问题^[1]。这类项目背后的判断是：有些安全问题——什么算伤害、如何规定目标、由谁来决定——并不能只靠工程解决。此外，中心运行「AI 与社会」研究金项目，这是一个为期三个月的研究计划，考察先进 AI 的社会影响，以及哪些制度与政策能帮助社会妥善应对^[2]。

灭绝风险声明

CAIS 被广泛知晓是在 2023 年 5 月，当时它发布了一份关于 AI 灭绝风险的一句话声明，签署者包括数百名 AI 教授和主要 AI 公司的负责人^[1]。签署者中有 Anthropic 首席执行官 Dario Amodei、OpenAI 首席执行官 Sam Altman 以及其他 AI 行业领袖^[1]。这份声明的分量在于它的简短和签署者的身份：一句关于极端风险的话，由正在建造这些系统的人自己背书。

政策工作

附属机构「人工智能安全中心行动基金」（Center for AI Safety Action Fund）是加州 SB 1047 法案的发起方之一，该法案名为《前沿人工智能模型安全可靠创新法》^[1]。发起立法与研究是两种不同性质的活动：前者把组织直接放进一场关于前沿模型应如何监管的具体政策争论中。

在 AI 安全版图中的位置

CAIS 在 AI 安全领域占据一个不常见的位置。它做的是会出现在机器学习会议上的技术工作，通过课程、研究金和算力把其他研究者组织起来，又通过联署声明和立法推动表明公开立场。它成立于 2022 年，那正是对大模型的担忧从一个小众研究议题走向公共讨论的时点，而那份一句话声明成了这一转变中较为显眼的标志之一。中心对自己使命的概括——研究、培育领域、倡导——恰好说明了这几条线索是如何接在一起的^[2]。