首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 25 · 清除筛选
人工神经网络人工神经网络是由许多简单相连单元组成的计算系统，其行为由连接权重决定。它的源头是1943年的神经元模型，带学习能力的版本则始于1958年罗森布拉特的感知机。卷积神经网络卷积神经网络让同一组小型图案探测器扫过整张图像，因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练，1998年以LeNet-5的形式成熟，如今已是计算机视觉的标准方法。深度伪造深度伪造（deepfake）指用人工智能生成或修改的图像、视频和音频，属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成，2017 年末出现后成为这类内容的通称。基于人类反馈的强化学习（RLHF）RLHF 让模型朝人们偏好的方向改进：先由人类比较模型输出，训练出奖励模型（reward model），再用强化学习让主模型在它上面得分更高。这已成为构建聊天助手的标准步骤。内容溯源（C2PA）内容溯源是附在文件里的来源与编辑记录，让别人能核查媒体从哪里来、经过了哪些改动。Adobe、Arm、BBC、Intel、Microsoft 和 Truepic 于 2021 年共同发起 C2PA 来制定这一标准。宪法式 AI（Constitutional AI）宪法式 AI（Constitutional AI）是 Anthropic 在 2022 年提出的训练方法：用一套书面写明的原则（即「宪法」）塑造模型行为，而不是依赖人工标注有害输出。直接偏好优化直接偏好优化（DPO）是一种用人类偏好数据微调语言模型的方法，训练目标接近监督学习，省去了单独训练奖励模型和强化学习循环的步骤。文本水印（Watermarking）文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。提示注入（Prompt injection）提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。Llama 社区许可证Llama 社区许可证是 Meta 为 Llama 3 模型定制的授权协议：允许免费使用和修改，但附带用途限制、署名义务和按用户规模设定的门槛，因此不符合通常意义上的开源定义。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。计算机使用（Computer use）计算机使用（computer use）是 Anthropic 在 2024 年 10 月开放公开测试的一项能力，让模型像人一样看屏幕、移动光标、点击和打字，从而操作原本为人设计的普通软件。开源人工智能定义（OSAID）开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。合成数据（Synthetic data）合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。多模态模型（Multimodal models）多模态模型在同一个模型里处理不止一种输入或输出，例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来，又怎样靠文字提示迁移到新任务。幻觉（Hallucination）幻觉（hallucination）指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一，也是人们难以直接信任模型输出的主要原因。基准污染（Benchmark contamination）基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。红队测试（Red teaming）红队测试（red teaming）指在模型部署前主动试探它，看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法，把这件事部分自动化了。对齐（AI alignment）对齐指让模型的行为符合用户和设计者的真实意图，而不只是训练目标字面上奖励的东西；用人类偏好比较来训练模型，是目前一条实用路线。