安全与治理

杰弗里·辛顿（Geoffrey Hinton）是出生于伦敦的计算机科学家，他的神经网络研究是深度学习的核心内容之一，并共享了 2018 年图灵奖和 2024 年诺贝尔物理学奖。

加拿大计算机科学家，其在序列模型、词嵌入和注意力机制上的工作，为现代语言模型奠定了重要基础。他与杰弗里·辛顿、杨立昆共享2018年ACM A.M.图灵奖。

达里奥·阿莫代伊（Dario Amodei）是Anthropic的联合创始人兼CEO。他此前在OpenAI担任研究副总裁，并参与了GPT-2和GPT-3等研究。

以色列裔加拿大计算机科学家，1986 年生；参与构建 AlexNet，共同创办 OpenAI 并任首席科学家，2024 年创办 Safe Superintelligence Inc.

Mobileye 做车载摄像头视觉芯片与软件，产品从基础驾驶辅助一路延伸到面向无人驾驶车辆的系统，其 EyeQ 芯片已装进数以亿计的汽车。

Cruise 是 2013 年成立、在旧金山研发自动驾驶技术的公司，2016 年被通用汽车收购，曾在旧金山提供收费的无人驾驶载客服务，后因许可被暂停而停止运营并被关停。

OpenAI 是总部位于旧金山的 AI 研究与部署公司，2015年以非营利组织成立，开发 GPT 系列模型和 ChatGPT，2026年6月秘密提交 IPO 申请。

RLHF 让模型朝人们偏好的方向改进：先由人类比较模型输出，训练出奖励模型（reward model），再用强化学习让主模型在它上面得分更高。这已成为构建聊天助手的标准步骤。

Waymo 运营的自动驾驶叫车服务，乘客用应用下单，车上没有司机。它是首个向公众提供无安全员乘车服务的公司产品，也是 Waymo 把自动驾驶带给普通乘客的主要方式。

特斯拉最先进的一套驾驶辅助软件，以每月 99 美元的订阅方式出售。它能完成路线导航、转向、变道和泊车，但驾驶者仍需全程监督，车辆本身并不具备自动驾驶能力。

Anthropic 是 2021 年 1 月成立的 AI 安全与研究公司，由前 OpenAI 员工创办，开发 Claude 系列模型，并制定负责任扩展政策。

一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。

InstructGPT 是一组经过人类反馈强化学习训练、能遵循用户指令的 GPT-3 模型。OpenAI 于2022年1月宣布该成果，并将其设为 API 的默认语言模型。

InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。

GPT-4 是 OpenAI 于 2023 年 3 月 14 日发布的大型多模态模型，能接受图像和文本输入，在模拟律师资格考试中成绩接近应试者前 10%，此后被 GPT-4 Turbo、GPT-4o 和 GPT-5 接续。

OpenAI o1 是 OpenAI 推出的首个推理模型系列，发布于 2024 年 9 月。它在回答前会进行较长的内部思维链（chain of thought）推理，之后的 o3 等推理模型都以它为基础。

华为于2025年4月22日在上海发布的智能驾驶系统，采用云端世界引擎加车端世界行动模型的 WEWA 架构，分为4个版本，旗舰 ADS Ultra 带专用于高速公路的 L3 套件。

GPT-5 是 OpenAI 于 2025 年 8 月 7 日发布的第五代 GPT 基础模型。它把快速模型与深度推理模型组合在一起，并由实时路由决定每个请求交给哪一个处理。

字节跳动于 2026 年 2 月发布的视频生成模型，可在统一架构下同时生成画面与声音，接受文本、图像、音频和视频输入；因版权争议一度暂停全球发布。

Claude Mythos Preview 于 2026 年 4 月 7 日公布，是未公开发布的前沿模型，仅通过 Project Glasswing（Glasswing 计划）向受限合作方开放，用于保障关键软件安全。

Claude Fable 5 于 2026 年 6 月 9 日发布，是 Anthropic 首个面向普通用户的 Mythos 级模型。同系列的 Claude Mythos 5 为审核通过的用户放宽了部分安全限制。

GPT-6 是 OpenAI 的新一代模型系列。首款 GPT-6 Astra 于2026年9月3日发布，Astra 是 OpenAI 首个达到其内部「关键」网络安全阈值的模型。

Gemini 4 Argon 是 Google Gemini 4 系列首个模型，2026 年 10 月 13 日全面开放，面向软件工程、金融、法律等多步骤复杂任务。

幻觉（hallucination）指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一，也是人们难以直接信任模型输出的主要原因。

对齐指让模型的行为符合用户和设计者的真实意图，而不只是训练目标字面上奖励的东西；用人类偏好比较来训练模型，是目前一条实用路线。

欧盟委员会是欧盟的行政机关，负责提出新的法律和政策、监督其实施、管理欧盟预算，并对外代表欧盟谈判协定、协调各成员国的做法。

通用人工智能（AGI）指在广泛任务上达到或超过人类水平的人工智能。这个词没有公认定义；Morris 等人提出的框架按性能等级与通用性给系统分级。

美国国家标准与技术研究院（NIST）是成立于1901年的联邦物理科学实验室，现隶属美国商务部，长期从事测量科学、标准与技术工作，近年也成为美国政府人工智能安全与评估工作的落点。

ELIZA 是20世纪60年代中期在 MIT 开发的早期对话程序。它的 DOCTOR 脚本模仿心理治疗师，用户容易误以为它真的听懂了，此即「ELIZA 效应」。

苹果公司于 1976 年创立，以 iPhone、iPad 和 Mac 闻名。它于 2024 年推出 Apple Intelligence，自研 Apple 基础模型（AFM），并在 2026 年与谷歌合作。

穆斯塔法·苏莱曼（Mustafa Suleyman）是英国 AI 创业者，联合创办了 DeepMind 和 Inflection AI，2024 年起领导微软 AI 部门，负责 Copilot 和自研模型。

丹妮拉·阿莫代伊（Daniela Amodei）是美国企业家，Anthropic 联合创始人，现任总裁，领导 AI 安全与对齐相关团队。此前她曾任职于 Stripe 和 OpenAI。

美国人工智能研究者，OpenAI 联合创始人之一，领导其强化学习团队并参与打造 ChatGPT 的训练方法；后转投 Anthropic，又出任 Thinking Machines Lab 首席科学家。

雅各布·帕霍茨基是 OpenAI 首席科学家。他 2017 年加入该公司，主导 GPT-4 与 OpenAI Five 的研发，并推动公司把研究重心转向扩展深度学习系统。

1998 年成立的非营利组织，守护《开放源代码定义》，并于 2024 年发布《开源 AI 定义》，为「什么算开源」提供共同参照。

国务院的一个部门，2008年3月设立，负责工业、通信业和信息化管理。它把此前分散在多个机构的工业管理与信息产业职能整合到了一起。

国家互联网信息办公室（英文名 Cyberspace Administration of China）是负责互联网信息内容管理的机构，职责涵盖新闻许可、网站查处、算法推荐规则与人工智能生成内容标识等。

Zoox 是一家 2014 年成立的自动驾驶出行公司，自己设计没有方向盘和踏板的零排放 robotaxi，也自己开发驱动它的软件。公司在拿到首个面向专用 robotaxi 的商业豁免后，在拉斯维加斯开始收费载客。

深度伪造（deepfake）指用人工智能生成或修改的图像、视频和音频，属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成，2017 年末出现后成为这类内容的通称。

2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。

OpenAI 在 2019 年发表的 GPT-2 论文，模型拥有 15 亿参数。研究表明，仅训练预测下一个词的模型在提示下就能完成多种任务，其分阶段发布也引发了关于是否公开强大模型的讨论。

GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型，最大版本有 15 亿参数。OpenAI 起初没有公开完整模型，随后分阶段发布，直到2019年11月才发布完整版本。

EleutherAI 是草根 AI 研究团体，2020年7月始于 Discord 服务器，发布了 The Pile 及多个开放模型，2023年成为非营利研究机构。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

宪法式 AI（Constitutional AI）是 Anthropic 在 2022 年提出的训练方法：用一套书面写明的原则（即「宪法」）塑造模型行为，而不是依赖人工标注有害输出。

《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。

直接偏好优化（DPO）是一种用人类偏好数据微调语言模型的方法，训练目标接近监督学习，省去了单独训练奖励模型和强化学习循环的步骤。

提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。

Claude 是 Anthropic 于 2023 年 3 月 14 日公布的 AI 助手，也是这家公司第一款公开提供的助手，此后发展成一整条 Claude 模型系列。

GPT-4V 是 GPT-4 中接受图像输入的版本，OpenAI 在 2023 年 9 月 25 日的系统卡中记录了它，并通过预览版 API 向开发者开放；图像理解后来在 GPT-4o 中成为原生能力。

英国政府于2023年11月设立的人工智能研究机构，最初名为AI Safety Institute，2025年2月更名并转向国家安全与严重犯罪风险。它只做研究与测试，没有监管权。

METR 是位于加州伯克利的非营利研究机构，评估前沿 AI 模型的长周期智能体能力，发布能力指标与事件调查，并与开发者合作开展部署前评估和保障措施。

欧盟人工智能办公室是设在欧盟委员会内部的一个机构，负责推动《人工智能法案》的实施，并直接执行通用人工智能模型的规则；它于 2024 年 2 月设立。

Llama 社区许可证是 Meta 为 Llama 3 模型定制的授权协议：允许免费使用和修改，但附带用途限制、署名义务和按用户规模设定的门槛，因此不符合通常意义上的开源定义。

Apple Intelligence 是苹果的个人智能系统，2024 年 6 月 10 日在 WWDC 上宣布，首先用于 iOS 18 等系统。大部分任务在设备上运行，较大的请求交给私有云计算。

安全超级智能公司（SSI）是 Ilya Sutskever 等人于 2024 年 6 月创办的美国 AI 公司，目标是直接造出安全的超级智能，中途不发布任何产品。

开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。

Claude Opus 4 与 Sonnet 4 于 2025 年 5 月 22 日公布，均为带扩展思考功能的混合模型。Anthropic 称 Opus 4 是“世界上最好的编程模型”。

Claude Sonnet 4.5 于 2025 年 9 月 29 日发布，价格与 Sonnet 4 相同，可直接替换后者使用。Anthropic 报告，它能在复杂任务上保持专注超过 30 小时。

Sora 2 是 OpenAI 于 2025 年 9 月 30 日发布的第二代视频与音频生成模型，并推出 iOS 社交应用。2026 年 OpenAI 宣布终止 Sora 服务。

OpenSandbox 是面向 AI 应用的通用沙箱平台，已由阿里巴巴捐赠给 Agentic AI Foundation，提供多语言 SDK 与统一 API。

Claude Opus 4.7 于 2026 年 4 月 16 日发布，价格与 Opus 4.6 相同，新增 xhigh 投入程度档位，并支持大得多的图像。它是首个测试自动拦截高风险网络安全请求的模型。

GPT-5.5 是 OpenAI 于 2026 年 4 月 23 日推出的模型，以 GPT-5.5 Thinking 和 Pro 两个版本面向 ChatGPT 付费用户，次日开放 API。它取代了 GPT-5.4。

Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。

OpenAI 于 2026 年 7 月 9 日发布的三模型系列，由弱到强为 Luna、Terra 和 Sol，其中 Sol 被定位为公司最强的编码与智能体模型。

Claude Opus 5 于 2026 年 7 月 24 日发布，定价与 Opus 4.8 相同。Anthropic 称它是迄今最符合对齐目标的模型，也是公司对外提供的最强科研模型。

GLM-5.3 是智谱于 2026 年 8 月 14 日发布的开源权重模型。它沿用 GLM-5.2 的基座，全部提升来自后训练，在智能体编程与网络安全类基准上取得开源最好成绩。

Claude Fable 5.1 于 2026 年 9 月 1 日发布，价格与 Fable 5 相同，缓存读取便宜 75%。同系列的 Mythos 5.1 仅限认证计划使用。

Gemini 3.8 Flash 是 Google 于 2026 年 9 月 2 日发布的快速低成本模型，同日推出网络安全变体 Gemini 3.8 Flash Cyber，其介绍性价格在 2027 年初翻倍。

OpenAI 在 2026 年下半年推出的模型系列：9 月 29 日 DevDay 发布 Sol，10 月 26 日推出更快更便宜的 Terra；原计划一同推出的 Astra 因安全原因未发布。

Gemini 4 Carbon 是 Google DeepMind 于 2026 年 10 月 28 日发布的前沿模型，距 Gemini 4 Argon 仅两周，Google 称其网络安全与长程能力达到当前最好水平。

OpenAI 于 2026 年 11 月 5 日发布的网络安全模型，只向 Daybreak Red 项目最高层级用户开放；据 OpenAI 称，它扫描 Linux 内核发现 948 个潜在问题，在 Firefox 中发现 81 个新漏洞。

机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。

红队测试（red teaming）指在模型部署前主动试探它，看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法，把这件事部分自动化了。

基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。

克里斯·奥拉（Chris Olah）是加拿大机器学习研究员、Anthropic 联合创始人，研究神经网络的机制可解释性。

贾里德·卡普兰（Jared Kaplan）是Anthropic联合创始人兼首席科学官，也是2020年《Scaling Laws for Neural Language Models》的第一作者。

越狱（jailbreak）是用对抗性提示让经过安全训练的模型做出其训练本应阻止的行为。Wei 等人在 2023 年 7 月的一篇分析中，把这类失败归因于目标冲突与泛化不匹配两种失效模式。

优步先进技术集团是优步旗下的自动驾驶部门。2018 年一起致命事故后，美国国家运输安全委员会认定主因是安全操作员分心、公司安全监管不足；2020 年 12 月，该部门被 Aurora 收购。

扬·莱克（Jan Leike）是 AI 对齐研究员，2024 年 5 月离开 OpenAI 后加入 Anthropic。

奖励黑客指优化一个不完美的代理奖励函数，结果在真正的奖励函数下表现反而变差。它是目标写偏、而非优化器出错时的典型失效模式。

美国政治人物，1967年生于旧金山，创办PlumpJack集团，曾任旧金山市长，现任加州第40任州长，曾签署和拒签前沿人工智能相关法案。

2000年以「奇点人工智能研究所」之名创立的加州非营利机构，最早把人工智能风险当作技术问题研究，如今主张在対齐问题解决之前停止研发比人更聪明的AI。

美国演员工会-电视与广播艺人联合会（SAG-AFTRA）2012年由两家工会合并而成，代表约17万名媒体从业者，以演员奖和2023年合同中对数字复制品的保护条款闻名。

2016 年成立的非营利联盟，成员来自产业界、学术界、公民社会与媒体，致力于推动人工智能的负责任开发与使用。

向量研究所是2017年在多伦多成立的非营利人工智能研究机构，杰弗里·辛顿（Geoffrey Hinton）是其创始科学家之一。

AI Now 研究所是一家美国研究机构，2017 年与纽约大学合作成立，研究人工智能的社会影响以及科技行业的权力集中问题，并定期发布年度报告和政策建议。

斯坦福大学以人为本人工智能研究院（HAI）成立于2019年，由李飞飞与约翰·埃奇门迪共同执掌，研究人工智能的机遇与风险，下设基础模型研究中心，并发布人工智能指数报告。

内容溯源是附在文件里的来源与编辑记录，让别人能核查媒体从哪里来、经过了哪些改动。Adobe、Arm、BBC、Intel、Microsoft 和 Truepic 于 2021 年共同发起 C2PA 来制定这一标准。

Character.AI 是一家聊天机器人公司，由前谷歌工程师 Noam Shazeer 与 Daniel De Freitas 于 2021 年创办，以用户自建 AI 角色聊天著称，2026 年 10 月申请破产保护。

人工智能安全中心（CAIS）是2022年在旧金山成立的美国非营利组织，从事 AI 安全研究、培养安全研究者并推动安全标准，曾发起由数百名业界人士签署的 AI 灭绝风险声明。

Galactica 是 Meta AI 与 Papers with Code 于 2022 年 11 月推出的科学大语言模型。上线约三天后，Meta 撤下了公开演示，但模型仍向研究者开放。

2022 年 12 月与 2023 年 5 月两篇 arXiv 论文提出的医学问答语言模型，第一篇同时提出 MultiMedQA 基准，Med-PaLM 2 在 MedQA 上最高达到 86.5%。

文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。

苹果基础模型（AFM，2024）是 Apple 智能背后的第一代模型，包括约 30 亿参数的端侧模型，以及运行在 Private Cloud Compute 上的较大服务器模型。

Comet 是 Perplexity 推出的 AI 网页浏览器，2025年7月9日面向 Windows 和 macOS 发布。它基于 Chromium 构建，内置的助手可以完成多步骤浏览任务。

Claude in Chrome 是 Chrome 浏览器扩展，可代用户查看网页、点击按钮和填写表单。Anthropic 于 2025 年 8 月 25 日开始试点。

Claude Opus 4.8 于 2026 年 5 月 28 日发布，价格与 Opus 4.7 相同。它新增了速度为 2.5 倍的快速模式，减少了自身代码中未被注意的缺陷。Anthropic 称它是一次“温和但切实”的改进。

Grok 4.7 是 xAI 于 2026 年 9 月 21 日发布的大语言模型，公司称它是自己在编程与知识工作上能力最强的模型；基座模型更大、强化学习训练更久，并采用全新安全防护体系，token 价格未变。

谢恩·莱格（Shane Legg）是新西兰人工智能研究者、DeepMind 联合创始人之一，参与推广了「通用人工智能」这一说法，并负责该公司的人工智能安全工作。

艾莎·埃文斯是自动驾驶出行公司 Zoox 的首席执行官。亚马逊收购 Zoox 时明确由她继续执掌，公司作为独立业务运营。

SLIM（安全低延迟交互消息协议）是面向智能体流量的安全传输协议。它用一套加密覆盖网络承载 A2A、MCP 与 SLIMRPC，让智能体通过出站连接按名称被访问，并提供六种语言的 SDK。

Redwood Research 是一家 AI 安全研究机构，与 Anthropic 等一同署名发表过关于语言模型欺骗行为的研究，涉及「潜伏代理」后门、对齐伪装，以及 AI 控制协议。

杰克·克拉克是 Anthropic 联合创始人，先后主管政策与公共福祉工作，2026 年 3 月起领导 Anthropic 研究所。他也是 GPT-3 论文的作者之一。

康纳·莱希（Connor Leahy）是德裔美国 AI 安全倡导者。他共同创立了 EleutherAI 和 Conjecture，2026年起任 ControlAI 美国主任。

Apollo Research 是一家研究机构，专注于先进人工智能系统暗中追求错位目标——即「谋划」——的风险，并对前沿模型开展相关评估。

凯尔·沃格特是通用汽车 2016 年收购公告中列出的 Cruise Automation 创始人，该公司后来在旧金山运营无人驾驶载客服务，2023 年 10 月被加州车管局暂停许可。

杰西·莱文森是 Zoox 的联合创始人兼首席技术官。Zoox 是一家自动驾驶出行公司，被亚马逊收购后，他继续领导该公司。

美国唱片业协会是美国唱片行业的行业协会，代表制作与发行录音的公司。它开展研究与政策游说，颁发金唱片、白金唱片等认证，并在 2024 年起诉两家 AI 音乐生成服务。

美国联邦通信委员会是执行1934年《通信法》的联邦机构。2024年它裁定，禁止「人造或预先录制声音」来电的规定同样适用于AI合成声音，并就一起机器人电话案提议600万美元罚款。

翁荔（Lilian Weng）是一位人工智能研究者，自2017年起在个人博客Lil'Log上记录学习笔记，中文报道称她毕业于北京大学，并报道了她在OpenAI的任职变动。

山姆·麦坎德利什（Sam McCandlish）是 Anthropic 的联合创始人兼首席技术官，参与撰写了规模法则与 GPT-3 方面的重要论文，并担任该公司第一任「负责任扩展官」。

英国跨国设计与工程公司，1946 年由奥雅纳爵士创办，以悉尼歌剧院等复杂地标项目的结构工程闻名，所有权由员工信托持有。